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《运筹 与 管理 科学 丛书 》 序 


运筹 学 是 运用 数学 方法 来 刻画 、 分 析 以 及 求解 决策 问题 的 科学 . 运筹 学 的 例 
子 在 我 国 古 已 有 之 ， 春 秋 战 国 时 期 著名 军事 家 孙 崇 为 田 忌 赛马 所 设计 的 排序 就 是 
一 个 很 好 的 代表 . 运筹 学 的 重要 性 同样 在 很 早 就 被 人 们 所 认识 ， 汉 高 祖 刘邦 在 称 
PKA RE: “TSMC, XARNETHIA. ” 

运筹 学 作为 一 门 学 科 兴 起 于 第 二 次 世界 大 战 期 间 ， 源 于 对 军事 行动 的 研究 . 
运筹 学 的 英文 名 字 Operational Research 诞生 于 1937 £F. 运筹 学 发 展 迅 速 ,目前 
已 有 众多 的 分 支 ,如 线性 规划 、 非 线性 规划 、 整 数 规划 、 网 络 规划 、 图 论 、 组 合 
优化 、 非 光滑 优化 、 锥 优化 、 多 目标 规划 、 动 态 规 划 、 随 机 规划 、 决 策 分 析 、 排 
队 论 、 对 策 论 、 物 流 、 风 险 管理 等 . 

我 国 的 运筹 学 研究 始 于 20 世纪 50 ER, 经 过 半 个 世纪 的 发 展 , 运筹 学 队伍 
已 具 相 当 大 的 规模 . 运筹 学 的 理论 和 方法 在 国防 、 经 济 、 金 融 、 工 程 、 管 理 等 许 
多 重要 领域 有 着 广泛 应 用 , 运筹 学 成 果 的 应 用 也 常常 能 带 来 巨大 的 经 济 和 社会 效 
ái. 由 于 在 我 国 经 济 快速 增长 的 过 程 中 涌现 出 了 大 量 迫 切 需要 解决 的 运筹 学 问题 ， 
因而 进一步 提高 我 国运 筹 学 的 研究 水 平 、 促 进 运筹 学 成 果 的 应 用 和 转化 、 加 快运 
筹 学 领域 优秀 青年 人 才 的 培养 是 我 们 当今 面临 的 十 分 重要 、 光 荣 、 同 时 也 是 十 分 
艰巨 的 任务 , 我 相信 ,《 运 筹 与 管理 科学 丛书 》 能 在 这 些 方面 有 所 作为 . 

《运筹 与 管理 科学 从 书 》 可 作为 运筹 学 、 管 理科 学 、 应 用 数学 、 系 统 科 学 、 
计算 机 科学 等 有 关 专 业 的 高 校 师 生 、 科 研 人 员 、 工 程 技 术 人 员 的 参考 书 ， 同时 
也 可 作为 相关 专业 的 高 年 级 本 科 生 和 研究 生 的 教材 或 教学 参考 书 . 希望 该 从 书 能 
越 办 越 好 ， 为 我 国运 筹 学 和 管理 科学 的 发 展 做 出 贡献 . 


EET. 
2007 年 9 月 
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非 光 滑 优化 又 称 不 可 微 优 化 , 是 最 优化 理论 与 方法 中 的 一 个 重要 分 支 . 所 谓 非 
光滑 优化 , 是 指 目标 函数 或 约束 函数 中 至 少 有 一 个 不 是 连续 可 微 (光滑 ) 的 非 线 性 
规划 问题 . 由 于 不 具有 连续 可 微 性 质 , 传统 的 基于 微分 (梯度 ) 概念 的 优化 理论 和 方 
法 已 不 再 适用 于 非 光滑 优化 问题 . 对 经 典 的 微分 概念 进行 推广 , 建立 各 种 广义 微分 
BUE, 基于 广义 的 微分 理论 建立 相应 的 最 优 性 理论 和 算法 , 正 是 非 光滑 优化 研究 之 
所 在 . 

非 光滑 优化 具有 广泛 的 应 用 背景 . 下 面 给 出 几 个 非 光滑 优化 的 例子 . 

例 1 Bram ER” Am 个 实验 数据 , 要 建立 一 个 线性 模型 , 即 求 一 个 
超 平面 f= {ze R” |aTr = 二 b}, 其 中 aeR beR 使 得 zzm 尽 可 能 接近 
A, 这 就 引出 一 个 不 可 微 优化 问题 

Y Gi ixi — bj, 


min 3 
(a,b) ER +) E 
k=1 ji=1 


其 中 , a € R”, b e R 为 变量 , oi, zi DHA a Alo, 的 第 i 个 分 量 . 易 见 , 问题 (1) 
的 目标 函数 带 有 绝对 值 , 是 非 光滑 函数 . 但 是 , 人 们 以 往 为 了 回避 非 光滑 问题 的 困 
XE, 通常 考虑 下 述 问题 


(1) 


n oan). e 


即 人 们 通常 所 熟知 的 最 小 二 乘 问题 . 需要 指出 的 是 , 问题 (1) 和 问题 (2) 的 解 一 般 
来 讲 是 不 一 致 的 . 对 大 多 数 情形 而 言 , 问题 (1) 的 解 较 问 题 (2) 的 解 更 加 符合 实际 

例 2 考虑 非 线性 互补 问题 
f(x) >0, h(z) 20, f(z)" h(x) = 0, (3) 


其 中 

f(x) = (ix), fala)", h(a) = (h(a), hala)", 
Az), hilz) i= 1,---,n 均 为 R" 上 的 连续 可 微 函 数 , 求解 问题 (3) 可 等 价 地 转化 
为 求解 如 下 非 光滑 方程 组 


min{ fi(z), hi(z))] —-0, i=1, n. (4) 


ull 


,iv . 前 
求解 方程 组 (4) 也 等 价 于 求解 如 下 的 优化 问题 
min 5 (min{ fi(z), hi(z)})?, (5) 
t=1 


显然 , (5) 是 一 个 非 光滑 优化 问题 . 
还 有 一 种 非 光滑 优化 来 自 于 优化 问题 本 身 , 即 求解 非 线 性 规划 的 罚 函数 方法 . 
考虑 约束 优化 问题 
min f(z), 
s.t. g(x) <0, 
其 中 , f(x), g(z) AR” 上 的 连续 可 微 函数 . 利用 罚 函 数 法 , 求解 约束 优化 问题 (6) 
转化 为 求解 下 述 无 约束 优化 问题 


(6) 


min f(z) + M max(0, g(2)] , (7) 


其 中 M 为 较 大 的 正 数 . 由 于 最 后 一 项 max{ 0, g(z) ) 的 原因 , 问题 (7) 的 目标 函数 
是 非 光滑 的 . 

尽管 非 光滑 优化 有 广泛 的 应 用 , 然而 到 目前 为 止 , 我 们 还 没有 有 效 的 方法 处 理 
一 般 形 式 的 非 光滑 优化 问题 , 只 能 针对 一 些 特殊 形式 的 非 光滑 优化 问题 分 别 进行 研 
究 . 在 各 种 类 型 的 非 光滑 优化 中 , 凸 规划 和 Lipschitz 规划 是 目前 影响 最 大 , 也 是 最 
被 广泛 接受 的 一 类 非 光滑 优化 问题 . 当然 , 凸 规划 是 Lipschitz 规划 的 特殊 形式 . 

非 光滑 优化 包括 许多 内 容 , 目前 国外 出 版 的 著作 都 有 自身 的 一 套 体系 . 本 书 从 
非 光滑 优化 基本 内 容 入 手 , 较 详 细 地 介绍 了 凸 函数 的 次 微分 、 局 部 Lipschitz 函数 
的 广义 梯度 、 拟 可 微 函数 的 拟 微分 及 它们 的 最 优 性 理论 , 最 后 介绍 了 在 控制 理论 中 
的 应 用 . 

本 书 的 完成 得 到 了 国家 自然 科学 基金 (10671126) 和 上 海 市 重点 学 科 建 设 项 目 
(T0502) 的 资助 . 作者 在 写作 过 程 中 结合 了 多 年 关于 非 光滑 优化 的 学 习 和 研究 工作 ， 
并 参阅 了 国内 外 相关 文献 . 由 于 作者 水 平 有 限 , 加 之 时 间 仓促 , 书 中 一 定 有 许多 不 
妥 和 错误 之 处 , 敬 请 各 位 专家 、 同 行 批 评 指正 . 


作 者 
2008 年 2 月 于 上 海 理工 大 学 
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第 1 章 A 集 


凸 集 是 非 光滑 分 析 与 优化 中 最 基本 的 概念 之 一 , 本 书 以 后 各 章 都 与 本 章 的 内 容 
有 关 . 


1.1. 凸 集 的 基本 概念 


EFSA URRAS, 并 给 出 它 的 一 些 基本 性 质 . 
1.1.1 A€5588 


定义 1.1.1 BSCR”, 如果 对 任意 zx1,x2€ 5S,0< 入 gl, 有 Arit+(1~ 和 zx2 € 
S, 则 称 S 为 凸 集 . 

由 定义 可 以 看 出 , 所 谓 凸 集 就 是 这 样 的 集合 , 它 的 任意 两 点 的 连 线 都 在 集合 中 ， 
可 以 说 凸 集 具 有 明显 的 几何 意义 . 

例 1.1.1 MPM H = {x € R^[p! x = o) BOS, 其 中 p 为 AHS, o 为 
实数 . 对 任意 x, 22€ H,0< 入 <1, 有 


pl (Mr + (1 — à)z2) = Aplz + (1— 入 )pIzo =a, 


因此 Az; + (1 -Ajr € H, 根据 定义 , HER. 
1.1.2 Kay € R^, ô > 0, 容易 验证 , 以 xo 为 圆心 6 为 半径 的 球体 : 


B(x, 6) = (x € R^] |£ — zo]| < ô} 


AR” 中 的 凸 集 . | 

另外 , 根据 凸 集 的 定义 很 容易 验证 , R^ 中 空 集 g.、 全 空间 、 所 有 子 空间 都 是 凸 
集 . 

定理 1.1.1 设 了 是 任意 指标 集 ，5; C R”, ic I BGR, 则 5; 的 交 s = N Si 

icI 

是 R 中 凸 集 . 

证 明 车 5 为 空 集 或 单 点 集 , 结论 显然 成 立 ， 假设 r,r € S, W r,r € 
Sj, i€ I. 由 于 S; 是 凸 集 , 则 对 于 0< 和 <1, 有 


AZ1 十 (1 一 X)zac9i， ie, 


故 
Az, + (1—2)22 € f] Si 
iel 


所 以 S EOR. 定理 得 证 . 
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m 
EX 11.2 BKr,---,am ERA 20, i= 1em, OX =1, MA c= 
i=l 


》 iti 称 为 rm，…,zm 的 一 个 凸 组 合 . 


” 西 组 合 是 凸 分 析 中 一 个 重要 概念 , 它 与 四 集 有 密切 联系 . 定义 1.1.1 ORES 
集 就 是 “其 中 任意 两 点 的 凸 组 合 仍 属于 它 本 身 的 集合 "而 实际 上 , 我 们 也 可 以 通过 
任意 有 限 点 的 凸 组 合 来 定义 凸 集 , 下 面 的 定理 就 刻画 了 这 样 一 个 事实 

定理 1.1.2 SCR 是 凸 集 的 充 要 条 件 是 S 中 所 有 元 素 的 凸 组 合 还 在 s 中. 
证 明 BES 是 西 集 nouns € S, 我 们 将 证 明 nous 的 凸 组 合 属于 S. 
对 m 用 数学 归纳 法 4 m — 1 时 ,结论 显然 成 立 ; 当 m = 2 时 , 由 凸 集 的 定义 , 结 


论 也 成 立 . 设 结论 在 m « k 时 成 立 , 要 证 明 对 于 和 ; > 0,7 = 1 


k+1 

Ysl, 

i=1 
如 果 

zi €S, t=1,---,k+1, 

nu 

k+1 

C= 5 Aizi € S. 
i=1 


不 失 一 般 性 , 假设 和 ; > 0, i = 1,---, 1 +k, 这 时 


k 
1 — Àk+1 =A >0. 
i=l 


根据 归纳 法 假设 | 
dE To aga t5 
这 是 因为 TN 
> 1- I" =i, 


i=1 


ERA moor 的 凸 组 合 . 再 由 凸 集 的 定义 , 有 


x= (1 — My 十 和 Ar+IZKEHLE S. 


,天 十 工 满足 


1.1 凸 集 的 基本 概念 3， 


另 一 方面 , 设 集合 S 中 元 素 的 所 有 凸 组 合 都 在 5S 自身 中 , Nn) S 的 任意 两 个 元 
素 的 凸 组 合 也 在 9 中 , 于 是 SEDE. 定理 得 证 . 

定义 1.1.3 R” 中 集合 5S 的 凸 包 是 由 5 中 的 一 切 凸 组 合 形成 的 集合 ， 记 为 
cos, 换言之 , zx € cos 当 且 仅 当 r 可 表示 为 r= ys 其 中 zi € S, ài 2 0,i = 


i=1 
k 
1, b 》 和 = 1, k 为 一 正 整数 . 


很 容易 验证 , S 的 凸 包 是 包含 S 的 最 小 凸 集 . 事实 上 , 不 难 验证 它 是 包含 5 的 
所 有 凸 集 的 交集 . 凸 包 也 是 对 一 个 给 定 非 凸 集合 进行 凸 化 的 手段 . 

R^ 中 有 限 点 集 (04, as); 其 中 a; € Ri = 1,…,m 的 凸 包 由 形 如 Aa 十 
… 十 Xmam 的 向 量 构成 , 其 中 à > 0, i = 1,…,m, HA 》 Xi = 1, 亦 可 表示 为 


i=l 


[Eran > 0, i= LI 
ji 
CE R 空间 中 的 一 个 凸 多 面体 . 

由 定义 1.1.3 知 , 凸 包 coS 是 由 S 的 所 有 有 限 多 个 点 的 凸 组 合 构成 的 集合 ， 
定义 1.1.3 没有 对 构成 这 个 凸 组 合 所 需 的 点 数 给 出 任何 限制 , 实际 上 , 对 于 n 维 
空间 中 的 集合 S, 只 需 至 多 n 十 1 个 点 的 凸 组 合 就 可 以 表示 coS 中 的 点 , 下 面 的 
Caraheodory 定理 就 揭示 了 这 样 的 事实 . 

定理 1.1.3 (Caraheodory 定理 ) $ S C R^, WS He cos 中 的 任意 一 点 
可 以 表示 成 S 中 至 多 nt+1 个 点 的 凸 组 合 ， 即 对 任意 x € coS, 存在 常数 + «n1 
以 及 ri €S, >0,t=1,---,7 HA SA = 1, RA 


i=l 
出 一 xz: (1.1.1) 
i=l 
WEBB ”根据 定理 112, 只 要 证 明 7 < n-- 1 即 可 . 以 下 证 明 , 如 果 7 > n+1, 则 
R (1.1.1) 右边 的 非 零 项 可 以 减少 . 不 妨 假 设 
M>O, G=1,---,7, 7r>n+l. 


KRn+1 维 向 量 (zi,1), à = 1,- n, BIA SHEETS r n1, 因此 线性 相关 , 故 
存在 不 全 为 零 的 常数 a;, i = 1,…,7, 使 得 


X alzi, 1) = 0, 
i=l 


TRA . . 
Mom -0, Soa =0. (1.1.2) 
i=l i=1 
由 T 
5 Qi = 0 
i=l 


可 知 ， Qi, i= lr 中 一 定 存 在 正 数 ， 记 
co = min | lay > 0 ister, 
Qi 


于 是 存在 一 个 io, 使 得 


Ài 
£o 一 2, 
Qio 
进而 有 
Ài = Ài — E004 2 0, 4 一 上 (1.1.3) 


特别 地 , 和 ,= 0. EX (1.1.2) 得 


r r r 
1 At = > NTi 一 E0 》 QiTi = T, 
i=l i=l i-l 


T r r 
Y= 和 -co》 m=1, (1.1.4) 
i=1 i=1 i=1 


这 说 明 , z 还 可 以 表示 为 式 (1.1.1) 的 形式 , 但 却 减 少 了 一 项 (ER (1.1.4) P Än = 0). 
定理 得 证 . 
1.1.2 ”代数 运算 

在 非 光滑 分 析 中 , 通常 的 集合 加 法 和 数 乘 运算 按 如 下 法 则 , 通常 也 称 为 Minko- 
wski 加 法 和 数 乘 . 

EX 1.1.4 W Sı, S2 C R^, Ac R”, Jill AS; = {Az|z € 5,) 称 为 集合 S, 和 
和 的 数 乘 ; 

Si 十 S = {x1 十 Z2|zZ1 € Sy, T2 € S2} 

BRA S, 和 S 的 和 . 

下 述 结论 显然 成 立 . 

命题 1.1.1 设 51,52 C R^ ÄGE, ACER, M AS A$, + S5 HAGE. 

定理 1.1.4 3 S Jy R 中 凸 集 , 和 1 之 0,X2 之 0, 则 有 


(Ar + Ag)S = AS + A98. (1.1.5) 


1.1 由 集 的 基本 概念 -5> 


证 明 %4 A = à= OWN, XX (1.1.5) 显然 成 立 . B AQ E22 > 0, 容易 验证 , BD 
使 集合 5 不 是 凸 , 下 述 性 质 也 成 立 : 


(Ai + A2)S C 18 A98. (1.1.6) 


WEAK S, 容易 验证 
AS -- (1 — 3)S CS, 


HPO<\ <1, 于 是 有 
`i Àz 


T$ 十 -一 一 一 9C 9， 
Al + Aa XX 


上 式 两 边 乘 以 Ni +0 得 
A18 + A2S C (à + A2)5, (1.1.7) 


联 立 式 (1.1.6) 和 式 (1.1.7) 得 式 (1.1.5). 定理 得 证 . 
1.1.3 At 


TER, 一 个 比较 重要 的 特殊 情形 是 凸 锥 . 凸 锥 是 非 光滑 分 析 和 优化 中 研究 
的 重要 对 象 之 一 . 

EX 1.1.5 ESAR 中 集合 , zo S, 且 对 任意 入 > 0, 有 xzo+AXA(z zro) € 
S, 则 称 S 是 以 zo 为 顶点 的 锥 . 特别 当 5 为 西 集 时 , S 称 为 凸 锥 . 

在 最 优化 研究 中 , 人 们 最 关心 的 是 以 0 为 顶点 的 锥 , 以 后 除 特 殊 声 明 , 所 提 到 的 
锥 均 指 以 0 为 顶点 的 锥 . 易 见 , S C R^ 是 锥 的 充 要 条 件 是 对 任意 入 > 0, 有 AS = 8. 

例 1.1.3 ”下 述 两 个 集合 是 R” PAE: 


$1 = (m, ms) |i 2 0, i=1,---,n}, 


S3 = { (z1, , tn)" |i >0, i=1,--+,n}. 


定理 1.1.5 S C R^ 是 凸 锥 的 充分 必要 条 件 是 它 对 加 法 和 正 数 乘法 封闭 . 
WEB] 设 3 是 凸 锥 , 由 于 是 锥 , 它 对 正 数 乘法 是 封闭 的 , 又 S ER, 则 对 任 
意 11,22 € S, 有 
1 1 
z= 4X1 371€ 5, 


所 以 zi 十 xz2 = 2z € S, Bl. 5S 关于 加 法 封闭 . 
设 S 对 加 法 和 正 数 乘法 封闭 . 由 于 对 正 数 乘法 封闭 , 所 以 S 是 锥 , 故 对 任意 


11,702 € $, ÜcA«I, 
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有 
Ari ES, (1—A)z2 € S. 


而 由 S 对 加 法 封闭 性 , 得 和 zi + (1 一 入 x2 € S, 所 以 5 EDE, 进而 是 凸 锥 . 定理 得 
证 . 

由 定理 1.1.5 易 得 下 面 的 推论 . 

推论 1.1.1 Sc R^ 是 凸 锥 的 充分 必要 条 件 是 5 包含 它 的 元 素 的 全 部 正 线 
性 组 合 , 即 对 任意 z; €S, A20, i=1,---,m, 有 


Aiti 十 .…… 十 和 AmzZm E S. 
定义 13.6 BSCR” BOE, 它 的 极 锥 定义 如 下 : 
S? = (de R^|dTz «0, Vz E S). 


从 极 锥 的 定义 不 难看 出 , S° 是 闭 凸 锥 . 不 难 验证 : 如 果 5 是 一 个 子 空间 , 5° 是 
它 的 正 交 补 ; 如 果 Sy c So, M S? 2 S3; 锥 与 它 的 极 锥 交 非 空 , 即 SNS. = {0}. 
例 1.1.4 REA S 为 有 限 点 形成 的 凸 锥 , Bp 


m 
S= [Eran 20, E 
j=l 


其 中 a; Ee R”, i=1, m, W S 的 极 锥 为 


S° = (y € R^|y!z; < 0,i=1,---,m}. 
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点 到 子 空 间 的 投影 算 子 有 很 多 好 的 性 质 , MRE, HRE FEE FEE 
性 、 非 膨胀 性 等 . 本 节 讨 论点 到 凸 集 的 投影 , 它 在 平衡 问题 以 及 变 分 不 等 式 问题 中 
有 许多 重要 应 用 . 

给 定 非 空 闭 集 S c R^ 和 固定 的 z e R", 考虑 下 述 问题 : 


inf Sly = al (1.2.1) 
它 是 寻找 = 到 集合 5 中 的 最 近 点 , 即 投影 . 固定 r cR”, EXTREM: 
faly) = ily 一 zlP，ye Rn， (1.2.2) 


给 定 se S, 考虑 水 平 集 


12 4 FAB .7. 


Ls = {y € R| f(y) < fr(s)}. 


显然, 问题 (1.2.1) SHU inf fa) 等 价 . 由 于 函数 f(y) 连续 且 非 负 , 则 STIL. 
为 紧 集 , 于 是 点 > 到 集合 S 的 最 近 点 , 即 投影 是 存在 的 . 这 样式 (1.1.2) 中 的 下 确 
界 inf 可 用 极 小 值 min 来 代替 . 

事实 上 , 投影 的 存在 性 并 不 需要 集合 的 凸 性 来 保证 ， 但 是 凸 性 却 可 以 保证 它 
的 唯一 性 ， 假设 y 和 yo 都 是 问题 (1.2.1) 的 解 , $ ri = yi —mi-12, id 
yo = zn +y), 利用 关系 式 


gll + voll? = Iinl + Iel? — lg — wall? 
得 1 1 
fe(yo) = (fau) + fo(y2)) ~ glue — ilf. 
由 yi Al yo 均 为 (1.2.1) 的 解 和 yo € S, 则 有 y; = yo, RDA T DRS HE 
性 . 
id ps(z) 为 点 x 到 集合 S 上 的 投影 , 我 们 有 下 述 定理 . 
定理 1.2.1 R S C R^ ASK c eR", Wy ceS 为 z 到 3 的 投影 ps(z) 
的 充 要 条 件 是 
(z — ys) (y -Yys) <0, VyeS. (1.2.3) 


证 明 ”必要 性 . 设 5 为 凸 集 . 注意 到 y 是 问题 (1.2.1) BRE, 取 任 意 的 y € s, 
根据 5 的 凸 性 有 
yz +AYy -Y) ES, 0<Aà<1, 


由 式 (1.2.2) 可 得 


sllve - all? = felve) 
€ fr(yz + o(y — yz)) 


1 
= aly = 2 + Ag 一 go) 


展开 平方 项 并 整理 得 
0 < Aye ~2)"(y~ ve) + 5%? lly — well? 


两 边 除 以 和 并 令 入 一 0+, 即 得 式 (1.2.3). | 
充分 性 . 假设 y. c 5 满足 式 (1.2.3), WR ys = z, Wy, BRE (1.2.1) 的 解 . 
考虑 加 £ x, 对 任意 的 y € S, 利用 Cauchy-Schwarz 不 等 式 , 直接 推导 得 
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0 > (z— yx)" (y — vx) 
= (£ — Yx) (y — £ + T — Yz) 
= ||z — yr) + (x — ye)" (y — 2) 
> |lz — yell? — |z — vll llz — yzl- 
注意 到 llz — yx|| > 0, 两 边 除 以 ||z — yl] 知 y, 是 式 (1.2.3) 的 解 . 定理 得 证 . 
进一步 , 我 们 有 下 述 定 理 . 
定理 1.2.2 X SC R^ AOR, 对 任意 zi za € R^, 下 式 成 立 : 


llps(zi) — Ps(z2)l? € (ps(z1) — ps(x2))" (x1 — 2). (1.2.4) 


证 明 ÆR (1.2.3) 中 , 取 


T = T], y = ps(z2) € S, 


则 有 

(ps(z2) — »s(z1)) (z1 — ps(21)) < 0. 
类 似 地 有 

(ps(zi) — ps(x2))* (za ~ ps(x2)) < 0. 
上 述 两 式 相 加 得 


(ps(zi) ~ ps(z2)) (xa — 21 + ps(z1) — ps(z2)) < 0, 


故 式 (1.2.3) 成 立 . 定理 得 证 . 
由 定理 1.2.2, 我 们 立刻 得 到 下 述 两 个 有 趣 的 结论 : 


0 < (ps(z1) 一 ps(zz))T(zl — 22), Vrhza € R”, 
即 投影 算 子 ps 的 单调 性 . 结合 Cauchy-Schwarz 不 等 式 得 到 
llps(z1) — ps(z2)|| € |la1 — zoll; (1.2.5) 


即 投影 算 子 ps 的 非 膨胀 性 . 特别 是 如 果 0 < S, WA |lps(z) < lell. 
定理 1.2.3 设 SCR" RAGE, Wy, 是 点 r 到 5 投影 的 充 要 条 件 是 


ys ES, z—-y.€ S^, (z—y;)'y, —0. (1.2.6) 
证 明 ”必要 性 . Ky 是 z 到 5 的 投影 , 根据 定理 121, 有 


(£ — yz) (y-w)«0, vyes. (1.2.7) 
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K y =ays, a >0, RAR (12.7) 得 
(a — 1)(z — uz)" y» < 0, 
由 于 a 一 1 可 取 正 值 或 负 值 , 于 是 有 
(£ — yz) Yr =0, 


这 样式 (1.2.7) BH 


y'(r-y;)«0, Vye S, 


Bp 
T— Yr E€ S’. 


充分 性 . 设 y; 满足 式 (1.2.6). 对 任意 ye S, 由 式 (1.2.2) 的 记号 , 有 
f.) = Žile - ve + ve = ull? > falo) 
= fz(yz) + (£ — Ye)” (ys — v). 
又 由 式 (1.2.6) 可 得 
(£ — yz) (ys — y) = —(@ — yz)" > 0, 


于 是 
Faly) > felys), 


故 是 式 (1.2.1) 的 解 . 定理 得 证 . 


1.8 fS ERE 


ETUR RAI AAC Da SERI — BR LE, 就 是 存在 一 条 直线 将 它们 分 开 ， 
使 得 一 个 集合 在 直线 一 侧 , 另外 一 个 集合 在 直线 的 另 一 侧 . 这 一 事实 在 一 般 的 n HE 
空间 中 就 是 所 谓 的 凸 集 分 离 定 理 . 凸 集 的 分 离 定 理 在 最 优化 理论 , 特别 是 在 最 优 性 


条 件 的 建立 中 起 着 重要 的 作用 . 本 节 介 绍 几 个 凸 集 分 离 定 理 . 
1.8.4 分离 定理 
首先 介绍 单 点 集 与 凸 集 的 分 离 定理 . 


定理 1.3.1 (CREB) WES C R^ 是 非 空 闭 凸 集 , c6 R^ B z g 5, WHE 


pcR^, 使 得 


sup ply < p'r. 
yes 


. 10 . Biz m 集 


证 明 令 
p=x—ps(z) #0, 
其 中 ps(z) 为 点 x 到 集合 S 的 投影 , 根据 投影 性 质 ( 见 定理 1.2.1) 得 


0 2 (x — ps(x))(y — ps(z)) 
=p'(y—x+p) 
=ply—p' z+ |plf?, 
于 是 
pIz 一 |pl2>pIy，YyeS. 
注意 到 llpl| > 0, 故 
p'r > py, WES, 
这 样 就 得 到 式 (1.3.1). 定理 得 证 . 
如 果 在 式 (1.3.1) F, 以 -p 代替 p, 则 定理 1.3.1 可 叙述 为 : 存在 p € R^, 使 
得 pzTz < inf p^y. 显然 在 式 (1.3.1) 中 , p 40, 因此 我 们 可 以 要 求 p 为 单位 向 量 , 即 
ipl = 1. 定理 1.3.1 说 明 存在 一 个 超 平 面 , 将 一 点 和 一 个 凸 集 分 为 两 部 分 . 
定理 1.3.2 (JAE) E 51,52 为 R^ 中 两 个 非 空 闭 凸 集 , 且 8 So #9, 
如 果 s, 是 有 界 的 , 则 存在 p c R^, 使 得 


sup ply < min p y. (1.3.2) 
yes 


证 明 ”集合 5,— 52 BOW, XS 是 紧 的 , 因此 也 是 闭 的 . S1 1S5 = o 意味 
着 0# 51 一 S52, 于 是 将 定理 1.3.1 应 用 到 点 0 和 集合 51 - So E, 则 存在 pe R^, 使 
得 


sup ply«pl0-0. (1.3.3) 
y€51—55 
注意 到 
sup p'y= supp y+ sup p T(—y) 
YES1—S2 YES1 YES: 
= sup ply — nb ply. (1.3.4) 
PIS 


结合 式 (1.3.3) 和 式 (1.3.4), 再 注意 到 So 是 紧 集 , A (1.3.4) 中 最 后 一 项 中 inf 可 用 
min 代替 , 得 到 式 (1.3.2). 定理 得 证 . 
当然 式 (1.3.2) 也 可 等 价 地 表示 为 


T : T 
max « inf . 
max p Vy es,” y 
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前 面 讨论 的 分 离 定理 要 求 其 中 的 一 个 集合 是 有 界 的 ,下 面 我 们 去 掉 有 界 性 假设 , 讨 

论 一 般 形 式 的 分 离 定理 . 
定理 1.3.3 (分 离 定 理 ) WE S, SCR” 为 非 空 凸 集 且 SS. 4 o, 则 存在 

pcR^, 使 得 


sup ply < inf ply. (1.3.5) 
yeS; yES2 


证 明 $ S= sS -S ANS, 5240, M ogs 在 定理 13.1 P, Re =0 
得 : 存在 p € R^, 使 得 
p'y«0, yes, 
即 得 
DTIza < pz, Vri € $1,259 € So, 
由 zi, za 的 任意 性 得 式 (1.3.5). 定理 得 证 . 
1.3.2 Farkas 引 理 和 Gordan 定理 
利用 分 离 定 理 , 我 们 可 得 到 两 个 重要 定理 : Farkas 定理 (也 称 Farkas 引 理 ) 和 
Gordan 定理 , 它们 在 光滑 和 非 光滑 优化 最 优 性 条 件 建立 中 起 着 直接 作用 . 
定理 1.3.4 (Farkas 引 理 ) 设 A E mxn MÆR, ce R^, 则 下 面 两 组 线性 不 
等 式 恰好 一 组 有 解 : 
Ar<0, clx>0, rER", (1.3.6) 
Aly=c, y20, yER”, (1.3.7) 
其 中 y > 0 RR y 的 每 个 分 量 都 大 于 等 于 0. 
证 明 ”假设 不 等 式 (1.3.7) AAR, 即 存在 一 个 y > 0, 使 得 ATy=c. 设 zeR” 
WE 4z < 0, 则 
cix- y Ax < 0, 
因此 不 等 式 组 (1.3.6) 无 解 . 
现在 假设 (1.3.7) 无 解 , 构造 集合 


S = {x € R”|z = ATy,y > 0). 
注意 到 , S 是 闭 集 且 c d S, 由 定理 1.3.1 可 得 , 存在 一 个 向 量 pe R^ 和 实数 a, 使 
得 

pic>a, pia<a, Wee S. 
因为 0e S, W o, 2 0, ATE pTe> 0. X. 


T AT 


a 2 p. AT y — y! Ap 
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对 一 切 y > 0 成 立 , > y 任意 大 , Ma > yl Ap AME Ap <0, AE p 满足 
Ap<0, p'>0, Ap«0, plc»0, 


它 是 不 等 式 组 (1.3.6) 的 解 . 定理 得 证 . 
Farkas 引 理 还 有 其 他 的 一 些 形式 , 在 定理 1.3.4 中 , $ AT = [AT, —r], 则 得 到 
结论 : 下 面 两 个 线性 不 等 式 组 恰好 一 个 有 解 : 


Ar<0, r20, cir>0, zeR", (1.3.8) 


Aty>c, y20, yc R". (1.3.9) 


在 定理 1.3.4 中 , 令 
AT = (AT, BT, - BT], 


其 中 BÀUxn BEE, 则 得 到 结论 : 下 述 两 个 线性 不 等 式 组 恰好 一 个 有 解 : 
Az <0, Br=0, cir>0, zcR", (1.3.10) 
ATy NS =c, y20, yc R*. (1.3.11) 


利用 分 离 定理 还 可 以 得 到 下 述 Gordan EH. 
定理 1.3.5 (Gordan EH) WA 是 一 个 m x n WER, 则 线性 不 等 式 组 


Ar<0, reR” (1.3.12) 
有 解 的 充分 必要 条 件 是 线性 不 等 式 组 
ATy=0, y20 (1.3.13) 


无 非 零 解 . 
WEBB ”首先 证 明 , 如 果 不 等 式 组 (1.3.12) 有 解 T, 则 不 等 式 组 (1.3.13) 不 能 有 
非 零 解 . 用 反 证 法 , 假设 y 是 (1.3.13) 的 非 零 解 , 则 由 


AT <0, y20, y £0 


可 得 
y AZ <0, 
即 
g^ ATg <0. 
由 于 ATy = 0, 因此 


JAZ — 0, 


1.4 多 面体 的 极点 和 极 方向 -1B- 


5j jAi < 0 FR, 所 以 不 等 式 组 (1.3.13) 无 非 零 解 . 
现在 假设 不 等 式 组 (1.3.12) RAR. 考虑 下 述 两 个 集合 : 


Sı = {z € R"|z = Az, z € R”}, 
So = {z € R” |z < 0}, 


由 定义 , S, 和 5 均 为 Rm 中 非 空 凸 集 且 有 51 门 52 z o. 根据 定理 1.3.3, FER” 
中 的 非 零 向 量 p e R™, 使 得 


plAr2p!z, Vr€ R", zeS,. 


注意 到 z 的 每 个 分 量 都 可 以 取 任意 大 的 负数 , 因此 必 有 


p20. 
42-0, 对 每 个 ze R^ DE 
pl Az > 0, 
选取 T= —ATp, 得 
—||ATp||? > 0, 
于 是 有 
ATp — 0, 


因此 不 等 式 组 (1.3.11) 有 解 . 定理 得 证 . 


1.4 多 面体 的 极点 和 极 方向 


多 面体 集 是 一 类 重要 的 凸 集 , 是 通过 有 限 个 闭 半空 间 的 交 而 形成 的 凸 集 , 在 各 
种 凸 集中 多 面体 集 是 最 简单 也 最 常见 的 . 本 节 将 讨论 多 面体 , 特别 是 有 关 它 的 极点 
和 极 方向 以 及 用 极点 和 极 方向 表示 多 面体 . 


1.4.1 极点 和 极 方向 性 质 
定义 1.4.1 集合 
S = {x € R^|p] x < ai, i=1,---,m}, 


pER", a, ER, i=1,---,m 


RA R^ 中 的 多 面体 集 . 
例如 , 下 述 集合 就 是 R 中 的 一 个 多 面体 集 : 


S = {(21,22} € R?| — zi + T2, £2 < 4,71>0,72 > 0}. 
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多 面体 集 就 是 由 线性 不 等 式 组 表示 的 集合 , 通常 也 表示 为 下 述 形式 : 
S = {x € R"|Ar x b}, (1.4.1) 


ak 
S-(zcR"'"|z-bz20), (1.4.2) 


其 中 4 为 m x n BYE, b 为 m 维 向 量 . 

在 多 面体 集 研究 中 有 两 个 重要 的 概念 就 是 极点 和 极 方向 . 

定义 1.4.2 S CR” 是 一 非 空 凸 集 ， 如 果 r,r € S, 0<å<1, r= 
Azl (1— A)zo, DA c= xi = ro, 则 称 z 为 9 的 极点 . 

MARS HE, 集合 中 的 任何 点 都 可 以 表示 为 极点 的 凸 组 合 , 然而 对 于 无 解 
情形 , 则 有 所 不 同 , 为 了 研究 无 界 多 面体 集 , 需要 引进 极 方向 的 概念 . 

M143 (x S c R^ EADE, de R^, WEIHER res, 和 > 0, 都 有 
z--Ad e S, Wd 称 为 5 的 一 个 方向 . 设 di, dz 为 S 中 两 个 方向 , 如 果 对 任意 a > 0, 
有 di 关 oda, 则 称 di 和 ds 是 不 同 的 方向 . 如 果 5 中 的 方向 a 不 能 表示 为 5 中 两 
个 不 同方 向 的 正 线性 组 合 , 即 如 果 d = Ardy + A2d2, Ar, A > 0, 则 对 某 个 w > 0, 有 
di = adz, 称 d 为 5 的 极 方 向 . 

例 1.4.1 设 


S = { (zl z2) ER?| jay| < X2) 


5 的 方向 是 所 有 与 向 量 (0, 1)T 夹 角 小 于 等 于 45° 的 向 量 , 特别 d; = 0, DT 和 
dz = (—1, 1)" 是 5 的 两 个 极 方向 . 5 的 任何 其 他 方向 都 可 以 表示 为 di M do WIE 
线性 组 合 . 

考虑 由 式 (1.4.2) 给 出 的 多 面体 集 , 不 妨 假 设 4 的 秩 为 m (如 果 4 的 秩 少 于 m, 
在 Ac = 中 删 掉 多 余 的 方程 ), 重新 排列 4 的 列 , 使 4 = [B, N], HH B E m xim 
PIIPER, N 是 m x (n-m) WER. 设 ze 和 zw 为 分 别 对 应 于 互 和 N 的 向 
E, 此 时 Ac =b, z>0 可 表示 为 


Barzpg-c Nay =b, zp2b ty 20. (1.4.3) 


下 面 定理 给 出 了 多 面体 集 5 极点 的 充 要 条 件 . 
定理 1.4.1 ze R^ 为 集合 (1.4.2) 极点 的 充 要 条 件 是 4 可 分 解 为 4= [B,N] 
形式 , 其 中 B 是 m x n 阶 可 道 阵 , N 是 m x (n-m) BYE, 使 得 


B-b 
r= ( 7B ) = ( ) , Bb0. (1.4.4) 
TN 0 
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WEAR ”充分 性 . 假设 4 能 够 分 解 成 4 = [B,N] 形式 , HÄER (1.4.4), BR 
res, 以 下 证 明 T A S 的 极点 . 假设 T 一 和 AIZ1 十 和 2TZ2， 其 中 11,22€ $,0« A «1, 
id 


T 
zl — (zt, rh)’, 2j = (231,29), 


Ur) GG) (0) 
0 T12 T22 
由 于 ri», 222 2 0 810 < A <1, WE zi» = a = 0, 再 由 式 (1.4.3), 可 见 
£il = 291 = Bob, Bp T = T1 = 72, 故 T 是 S 的 一 个 极点 . 

必要 性 . 假设 ze5 是 5 的 一 个 极点 , 不 失 一 般 性 , 假设 z= (nyc 0, --,0)7, 
其 中 zx; > 0, i = 1,…,k. W ai 为 A 的 第 i P, 我 们 首先 证 明 a1,…, ar 线性 无 关 . 
用 反 证 法 ， 假定 a1,…,axk 线性 相关 , 则 必 存 在 一 组 不 全 为 零 的 常数 A An, 使 
得 3277 =0. 记 A — (和 1,…, Ax,0,…,0)7, 构造 下 述 两 个 向 量 : 


i=1 


则 有 


-b+ Vbi — 
z0 =etad, 22 =g- o END tae b dac 


2a 
其 中 a > 0 的 选择 要 使 1 O > 0. 直接 计算 得 
k 
Ag?) = 5 (zi + adj) ai 
i=l 
k k 
= 9 Titi + a 5 Àiđi 
i=1 i=l 
= b. 
类 似 可 得 
Ar? = b, 
因此 


a), x) c 5. 


又 因为 a > 0, 所 以 
PONO 


而 
1 1 
= rlt) 4 l40) 
r 37 t37 ， 
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这 与 x RAMTE, 于 是 ai , :…, ax 是 线性 无 关 的 . 从 最 后 n-k 列 选择 m—k 
列 与 前 列 一 起 组 成 一 个 线性 独立 向 量 组 , 不 妨 假设 选取 的 列 是 ok+ +++, am, 于 
是 A 可 以 表示 为 A=([B,N] 形式 , 其 中 B= (a1,…,am) 是 满 秩 和 矩阵 , 而 且 


Bob = (£1,..., Tk,0,...,0)T. 
又 因为 r; > 0, i=1,---,k, 所 以 
B-'b>0. 
定理 得 证 . 
下 述 定理 给 出 极 方向 的 充 要 条 件 . 


定理 1.4.2 d e R^ 为 集合 (1.4.2) 的 极 方向 当 且 仅 当 4 能 够 分 解 为 4 = 
(B, N] 形式 , 其 中 B 是 m x n BA, N 是 m x (n — m) MERE, 使 得 对 NN 的 
某 列 oj, HB a; <0, 并 且 d 是 d= (D | 的 正 数 售 , 其 中 e; 为 第 了 个 
SBA 1, 其 余 为 零 的 n — m 维 单位 向 量 . 

证 明 ”充分 性 . 从 集合 5 的 结构 易 见 , 如 果 Ay = 0,y > 0, Wy 是 5 的 一 个 
方向 . 假如 Boa; « 0, 于 是 d > 0, Ad = 0, 此 时 d 是 S 的 一 个 方向 . 下 面 证 明 d 
是 一 个 极 方 向 . 假设 d = 和 di + Adz, 其 中 A, Ao > 0, di 和 ds 是 S 的 方向 . 注意 
到 4 的 nn 一 m 一 1 个 分 量 是 零 , 则 di, do 的 相应 分 量 也 为 零 , 于 是 d 和 do WUS 


成 如 下 形式 : 
aa 人 (人 sca). 
€j €j 


其 中 Cj, €2 > 0. 注意 到 Ad; = Ad» = 0, 容易 验证 dii = do = —B-la;, 这 样 di 
和 d» 相同 , 于 是 a 是 极 方向 . 因为 4 是 d 的 正 整数 倍 , d 也 是 一 个 极 方向 . 
必要 性 . 假设 d 是 5 的 一 个 极 方向 , 不 失 一 般 性 , 假设 


d= (di,--+, dx, 0, dj, -,0)T, 
其 中 di > 0, i= 1,---,k Al i =j. 我 们 要 证 明 C1 OK 线性 无 关 . 用 反 证 法 ， ABR 
k 
V 01, ar 线性 相关 , 则 存在 一 组 不 全 为 零 的 数 AA 使 得 》 Nii = 0. © 


A= Qus 50, ,0)7, 并 选取 a > 0 充分 小 , EA d, = dtaa M da =d- a) 
都 非 负 显然 


€j 


Ad, = Ad + aAA 


k 
一 Ota air 
i=1 


=0. 
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类 似 有 Ad, = 0. 又 因为 由 ,da > 0, 所 以 dy, dy 是 5 的 方向 . 因为 a 0, A 0, 所 以 
d, # do, 但 是 d= 2d, + 了 dz, 这 与 假设 了 是 一 个 极 方向 矛盾 , 因而 a, 是 线 
性 独立 的 . 由 于 A 的 秩 等 于 m, 显然 有 大 < m, 则 向 量 组 (oii = 大 十 1 ,ni 到 从 
中 必定 存在 m -个 向 量 同 o, a 一 起 形成 线性 独立 的 向 量 组 . 不 失 一 般 性 ， 
假设 这 些 向 量 是 a1,… am 用 B 表示 (aam). 注意 到 B 是 可 逆 的 , 于 是 


0= Ad = Bd + ojd;, 
其 中 d 是 4 的 前 m 个 分 量 形成 的 向 量 , 所 以 d = —d;B- dj, 因此 向 量 4 有 形式 


-. .[([ Bo; 
zi 2"). 
3 


注意 到 d 20, d; > 0, 于 是 Ba; < 0. 定理 得 证 . 
上 述 两 个 定理 给 出 了 集合 (1.4.2) 极点 和 极 方向 的 刻画 , 事实 上 , 我 们 很 容易 证 
明 它 的 极点 和 极 方 向 都 是 有 限 的 . 极点 的 个 数 不 超 过 


极 方向 的 个 数 不 超 过 


n n! 
e-»( m ) = min-m- 1) 


另外 , 极点 一 定 是 存在 的 , 极 方向 则 不 然 , 只 有 当 8 为 无 界 时 才 有 极 方向 . 
1.4.2 ”多 面体 的 极点 和 极 方向 表示 


极点 和 极 方向 的 一 个 重要 的 应 用 就 是 凸 多 面体 总 可 以 表示 为 它 的 极点 的 凸 组 
合 和 极 方向 的 非 线性 组 合 . 下 述 定理 将 给 出 此 结果 . 

定理 1.4.3 E zu ,zk 和 di1,…,di 分 别 是 集合 (1.4.2) 的 极点 和 极 方向 ， 
Mee 5 当 且 仅 当 z 可 以 表示 为 


k i 
r=) Au + ujdi, 
i=1 j=l 
k 
JUBAO0i-Leghujz0j-1-.L BÉ SOA = 1. 
i=l 
WEBB ”构造 下 面 的 集合 : 


k l 
A= {a + ud; 
i=l j=l 


k 
i= 


LESS 
ici 
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易 见 集合 A 是 闭 凸 集 且 非 空 . 显然 , A 为 集合 (142) 子 集 , 为 证 明 集合 A 与 集合 
(1.4.2) 相同 , 只 需 证 明 集合 (1.4.2) 为 A 的 子 集 . 用 反 证 法 , 假设 z 属于 集合 (1.4.2), 
但 不 属于 A, 由 定理 1.3.1 可 知 , 存在 p € R^ 和 常数 a, 使 得 对 于 满足 


k 
SoA =1, X20, N;20 
i=l 


的 Ni>0i=1 7 和 和 万 >07=1 15 有 


piz>a, 


k l 
p! » Aic > Z Ka. (1.4.5) 
il j=l 


因为 u; 可 以 任意 大 , XX (1.4.5) 仅 当 pTz < 0,j = 1, 时 成 立 . 在 式 (1.4.5) 中 ， 
通过 对 一 切 j, 令 u; 20,3; = 1 和 对 i A 7 > X; = 0, MAR pTx; < o. 因为 
pTz > o, 对 一 切 i 有 pTz > pr, 综合 可 得 , 存在 一 个 非 零 向 量 p, 使 得 


plz»plzi i=1,---,k, (1.4.6) 
pd; j-l--L (1.4.7) 
JE PE HER EX: 
Tz T... 
pis max p Tj. (1.4.8) 


因为 元 是 极点 , 由 定理 1.4.1, z— ( n , 其 中 4 = (B,N)，B- 巧 > 0. 不 失 一 


般 性 , 假定 Bob > 0. 因 z 为 集合 (1.4.2) 的 点 , 于 是 


所 以 
Bzg + Nzw = b, 


进而 有 
zpg—bib—B^!Nzw, 


其 中 z 被 分 解 为 (zp, zu). AR (14.6) 得 


piz- plz > 0, 


14 多 面体 的 极点 和 极 方向 :19- 


又 pT BAMA (pp. pw), 得 到 
0c pl'z—plz 
—pL(B-ib- B-!Nzg)* phzn ^ pp B. b 
= (py — ppBN)zn. (1.4.9) 
因为 z > 0, R (149) 得 到 一 个 分 量 ; > m 1, 使 得 
zi 20, pj—-ppB la; > 0. 


首先 证 明 yT Bola; 不 小 于 0, 用 反 证 法 , 假设 y < 0. 考虑 向 量 


ej 


其 中 e 是 第 i 个 分 量 为 1 的 单位 向 量 . 由 定理 1.42, d; BRA (1.4.2) 的 一 个 极 方 
向 . 由 式 (1.4.7) 得 
p! d; <0, 
即 
-pgB loj t Pj < 0, 
这 同 假设 
Dj -pB la; >0 


HAAS. 因此 , y; 不 小 于 0. 构造 下 面 的 向 量 : 


(aeae) 


其 中 5 由 Bob 给 出 ,入 由 下 式 确定 


bi b 
A= min E >0} =— >0. 
lSi&m | Yij Yrj 


注意 到 , z > 0 至 多 有 m 个 正 分 量 , 其 中 第 r 个 分 量 下 降 到 零 , 而 第 ; 个 分 量 给 定 
为 入 WE z 属于 集合 (1.4.2), 这 是 因为 


Ar = b, 


(B^!b — AB^loj) + Aaj = b. 
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由 于 yrj £ 0， 能 够 证 明 向 量 03,777, Qj—-1, QQmy Qj 是 线性 独立 的 . 因此 , 定 
理 1.4.1 保证 z 是 一 个 极点 , 即 z e {21,---, 24}. 此 外 ， 


b — Ay; 7 
p'x= (p, ph) ( 7 ) 
Ne; 


由 于 


则 
pix > pli; 


至 此 , 我 们 构造 了 一 个 极点 x, 使 得 
p's > pj, 


这 同 (1.4.8) 矛盾 , 这 一 矛盾 说 明 z 必 属 于 A. 定理 得 证 . 


1.5 相对 内 部 


将 n 一 1 维 空间 中 一 个 有 内 部 的 集合 放 到 ” 维 空间 中 则 无 内 部 , 由 此 可 见 , 内 
部 的 概念 依赖 于 所 在 空间 , 不 是 一 个 独立 于 空间 维 数 的 概念 . 为 了 研究 凸 集 不 依赖 
于 所 在 空间 维 数 的 内 部 , 本 节 引 入 凸 集 的 相对 内 部 . 


1.5.1 {ts 


在 R? 中 , 过 原点 的 直线 h 是 R? 中 的 子 空间 , 不 过 原点 的 直线 b 则 不 是 子 空 
间 , 但 它 与 4 平行 , BL 的 平移 . 

定义 1.5.1 设 ScR", 对 于 任意 zx, y € S HBR A, WH (1- MX)z+Xy € S, 
则 称 SHR 中 的 仿 射 集 . 仿 射 集 有 时 也 称 为 仿 射流 形 、 仿 射 族 、 线 性 流 形 等 . 

从 定义 1.5.1 可 以 看 出 , 通过 仿 射 集 5 中 任意 两 点 的 直线 仍然 包含 在 5 中 . 

H 1.5.1 R^ 空间 的 空 集 、 全 空间 、 单 点 集 、 直线 和 平面 都 是 仿 射 集 . 

定义 1.5.1 表示 , 仿 射 集中 任意 两 个 点 的 仿 射 组 合 仍然 属于 该 仿 射 集中 , 下 面 
的 结果 显然 成 立 . 

定理 1.5.1 设 SCR", 则 5 是 Rn 中 的 仿 射 集 的 充 要 条 件 是 S 的 元 素 的 任 
意 仿 射 组 合 仍然 属于 M. 
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容易 证 明 , 仿 射 集 的 交 仍 是 仿 射 集 . 所 以 对 于 R^ 中 的 任意 集合 S, 存在 着 包 
含 5 的 最 小 仿 射 集 , 这 个 仿 射 集 就 是 包含 5 的 全 体 仿 射 集 的 交 , 称 这 个 仿 射 集 是 
由 S 张 成 的 仿 射 集 , 或 由 S 生成 的 仿 射 集 , 或 5 的 仿 射 包 , 用 affs 表示 . 

EX 1.5.2 Rrr rp eR" PHB, BBA, LAS WE At Ap = 
1, M z = Aizi App 称 向 量 组 zi …,zp 的 仿 射 组 合 . 

命题 1.5.1 X S C R^, RS HANH afs 是 5 中 的 点 所 有 仿 射 组 合 构成 
的 集合 . 

定义 1.5.3 设 zi1,…,zp ZR" PHA, 常数 AL, +++, Ap 满足 Xi 二 … 二 Xp =1, 
如 果 仅 当 A= = Xp = ON, 有 


AlZ1 oos Agit = 0, 


则 称 向 量 组 m1, mp 仿 射 无 关 , 不 是 仿 射 无 关 的 向 量 组 称 为 仿 射 相关 . 

向 量 组 的 仿 射 无 关 性 等 价 于 这 个 向 量 组 的 任 一 向 量 都 不 是 其 他 向 量 的 仿 射 组 
fr. 如 果 某 一 个 向 量 r 表示 成 向 量 组 r1, rp 仿 射 组 合 的 形式 , 即 m = 和 zi 十 
… 十 和 pzp, 其 中 和 i, i = 1,.…,p 为 常数 且 有 入 十 … 十 和 yp = 1, 则 当 且 仅 当 mim, 
WHERE, 系数 和 1,…, Ap 可 以 唯一 确定 . 

定理 1.5.2 R^ 的 子 空 间 是 包含 原点 的 仿 射 集 , 反之 包含 原点 的 仿 射 集 是 子 
空间 . 

证 明 ”每 一 个 子 空间 包含 原点 , 且 对 加 法 和 数 乘 运算 封闭 , 因而 是 仿 射 集 . 反 
之 , KS 是 包含 原点 的 仿 射 集 , 对 于 任意 ze S 和 常数 和 , 由 定义 151, 有 


Az =(1-A)OFATE S, 


即 S 对 数 乘 运算 封闭 . 对 于 任意 nyc, 有 
1 


i 1 
ge e - ge (1-5)ues 


故 
z+y=2(3@+0) ES, 


即 3 对 加 法 运算 封闭 , 所 以 5 是 子 空间 . 定理 得 证 . 

EX 1.5.4 BSCR”, acR”, #8 M +a= {z+alz E S} RA S FEE a 
的 集合 . 
1.5.2 ”相对 内 部 的 定义 与 性 质 

定义 1.5.5 WU 5Sc Rn eC, 如 果 存 在 一 个 < > 0, 使 z+ B(0,c) c S, Bil 
称 x 是 5 的 内 点 . S 的 全 体内 点 的 集合 称 为 S 的 内 部 , 用 ints 表示 . 
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易 见 
intS = {z|3e > 0,2 + B(0,e) c S]. 

对 于 一 般 的 凸 集 9, 并 不 能 保证 intS 4 e. 例如 在 R3 中 , 三 角形 是 没有 内 点 
的 , 但 是 , 在 由 这 个 三 角形 张 成 的 二 维 仿 射 集 ( 仿 射 包 ) 中 , 它 确实 包含 有 内 点 . 下 
面 将 要 证 明 , 总 可 以 在 某 种 意义 下 将 一 个 非 空 凸 集 嵌 入 到 R^. 的 子 空间 中 去 , 使 这 
个 凸 集 关 于 这 个 子 空间 具有 内 点 . 

定理 1.5.3 Wb S X R^ "pides iE, 则 3 或 者 有 内 点 , 或 者 8 包含 在 一 
个 维 数 较 低 的 仿 射 集 之 中 . 

WEBB 设 zoe 5, 研究 形 如 zx 一 zo 的 向 量 , 其 中 ze 5. 由 线性 代数 的 有 关 定 
理 知 , 存在 7 < n 个 上 述 形式 的 线性 无 关 向 量 : 


T1 — Xo, ,Tr — Lo. 


分 两 种 情形 讨论 . 
(1) r=n. 这 时 n 个 向 量 rieo, zn-zo 线性 无 关 , 单纯 形 S" (zo,2i 24) C 
S, 故 只 要 证 明 57 (zo, x1,…,zn) 具有 内 点 即 可 . 下 面 证 明 : 


T= XoZ0 + AGF 十 … 十 AnZn Eint9"(zoZ1 - , En), 


其 中 


n 
M>0, i=0, n, YOA =l. 
i=0 


研究 关于 Aim 0,1, n 的 线性 方程 组 : 
X — To = Y s 一 Xo). 
i=1 


因为 z1 一 x0,… ,zn 一 zo 线性 无 关 , 这 个 方程 组 具有 连续 依赖 于 zx 的 唯一 解 Xi(z),i = 
lm. 特别 取 x 的 值 为 


Z = Xozo +21 ++ Aaa, 


BA 


所 以 , 对 & 的 某 个 邻 域内 的 全 体 z, A) > 0,1 =0,1,---,n, H 
`(z)=1- YN(r) > 0. 


i=1 


15 相对 内 部 . 23 . 


MOM z 的 这 个 邻 域内 的 全 体 x, 有 


r= A; (£) zi € S" (15,21, , x4). 


M: 


ll 
2 


这 表示 形 如 上 述 的 x 是 S" (rot 4) 的 内 点 , 定理 的 第 一 部 分 结论 成 立 . 

(2) r « n. 研究 由 z; 一 zo, i = 1,…,7 张 成 的 子 空间 X^. 由 m; — zo 的 选取 可 
Al, S — zo C X^, BS C zo - X?^. 这 里 zo t+ X? 是 7 维 的 仿 射 集 , 即 5 包含 在 一 
个 + <n 的 仿 射 集中 , 第 二 部 分 结论 成 立 . 定理 得 证 . 

定义 1.5.6 WX SC R^ ELE, zres, 如 果 存 在 一 个 s > 0, 使 得 


(2 + B(0, e) (Yat S C 8, 


则 称 2S 的 相对 内 点 , S 的 全 体 相 对 内 点 的 集合 称 为 S 的 相对 内 部 , 用 ris X 
示 . 

定理 1.5.4 SCR" 是 非 空 凸 集 , 则 ris 非 空 . 

证 明 dimS =r, WE S 中 存在 7 十 1 个 仿 射 无 关 的 向 量 zort > 


Å = coí(zo, zl Er}, 


WW A 是 > 维 单纯 形 ，4 C S， 但 从 定理 1.5.2 的 证 明 可 以 看 出 ，4 具有 相对 于 
aff A 的 非 空 相对 内 部 . 又 因为 af A C affS, A dim(aff A) =r -dim(aff S), 所 以 有 
aff A = aff S. 这 表示 A 具有 相对 于 af S 的 非 空 相 对 内 部 . 于 是 , 由 4 是 5 的 子 集 
npn, S 具有 相对 于 aff 的 非 空 相对 内 部 , BI ris 非 空 . 定理 得 证 . 

定理 1.5.5 WS C R^? EDE, reris, y € clS, W (1 — Ar + Ay € ris, 
O<A<1. 

证 明 ”不 妨 设 dimS = n, SE riS = ints. KO<A< 1, 只 要 证 明 , 对 于 某 个 
ze>0, 有 

(1— A)r +y + B(O,e) CS (1.5.1) 

即 可 . H y e clS, 故 对 于 每 一 个 。 0, y € S + B(0,e). 于 是 , 对 于 每 一 个 。> 0, 


(1 — J)z E Ay eB C (1 — NrtAs+B(0,e)) + B(O, 1) 
= (1— A)(z + e(1 A)(1 — A) 1B(0,1)) + AS. 
但 x € intS, 所 以 & 充分 小 时 ， 
z+ell + A)(1 — A) 1 B(0,1) C S, 


则 有 
(l-A)e+AyteBc(l-AJS+AS=S. 
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故 式 (1.5.1) 成 立 . 定理 得 证 . ) 
定理 1.5.4 是 一 个 很 有 用 的 工具 , 它 在 下 面 几 个 定理 的 证 明 中 都 起 着 决定 性 的 
作用 . 
定理 1.5.6” 设 9 C R?” 是 非 空 凸 集 , 则 z e ris 的 充分 必要 条 件 是 对 于 每 一 
个 ze S, 存在 /> 1, 使 得 
(1— u)z + uz € S. 


证 明 ”定理 的 条 件 表示 S 中 以 > 作为 端点 的 每 一 条 线段 可 以 稍微 向 外 延长 
而 不 超出 S. 如 果 z € ris, 由 定义 1.5.4, 所 述 条 件 成 立 . 另 一 方面 , 设 条 件 满足 , 由 
定理 1.5.4, ris JEF, z € ris. 设 


y-(l-urtguz€S, ul, 


则 有 
z2=(1-A)cr+rAy, 0«cA-yg <l. 


由 定理 15.4, z e ris. 定理 得 证 . 

容易 证 明 , 当 5 是 凸 集 时 , ris 也 是 凸 集 . 

对 于 R” 中 的 任意 集合 S, cl(clS) = cS, ri(riS) = riS 总 是 成 立 的 . WE 5S 是 
OR, 则 还 有 下 述 结果 . 

定理 1.5.7 设 5 E R^ PHO, WA 

(1) clS = cl(clS) = cl(riS), 

(2) riS = ri(clS) = ri(riS), 

(3) aff = aff(cl S) = aff(ri S), 

(4) dim S = dim(cl S) = dim(ri S). 


1.6 切 锥 与 法 锥 


切 锥 是 光滑 问题 在 切 平面 的 推广 , 可 用 来 在 一 点 附近 逼近 一 个 集合 . 在 非 光滑 
分 析 中 , 有 各 种 各 样 的 切 锥 , 本 节 主 要 介绍 最 常见 的 称 为 Bouligand 切 锥 的 一 种 切 
Af. 法 锥 则 是 光滑 问题 在 法 方向 的 推广 . 

EX 1.6.1 W SC R^ 3EZZ, HA SEA ce S 处 的 切 锥 Ts(z) 定义 如 下 : 


Ts(x) = {de R"|z;, =x +tkdk E S, dk —5 d, tk > Or}, 


这 里 de Ts(z) 称 为 切 方向 . 
上 述 定义 的 切 锥 Ts(z) 也 称 为 Bouligand 切 锥 . 当 S 边界 为 光滑 曲面 时 , 切 锥 
退化 为 通常 的 切 平面 . 由 定义 不 难 验证 , 切 锥 是 闭 锥 . 
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Bouligand 切 锥 还 有 其 他 的 表示 形式 , 例如 , 7s(z) 可 以 等 价 的 表示 为 


td 
liming EHA _ o}, 
t 一 0 十 t 


Ts(z) = L eR” 


其 中 ds(y) 为 点 y 到 集合 S 的 距离 . 
Bj 1.6.1 X cz) i = 1,…,m 是 了 "上 的 连续 可 微 函 数 ， 它们 的 梯度 
Vei(7z),… ,Vem(z) 是 线性 无 关 的 , 则 集合 


S = {x € R”|a(z)=0, i=1,---,m} 
在 点 ce S 的 切 锥 是 下 述 子 空间 
Ts(z) = (d € R^|Vei(z)!d = 0, i=1,---, m}. 
Bj 1.6.2. Wt c(z) 是 R^ 上 的 连续 可 微 函 数 , 集合 
S = {z € R^|c(z) < 0) 
在 点 ze 5 的 切 锥 为 半空 间 
Ts(x) = (d € R"|Ve(x)Td < 0). 
定义 16.2 设 SC R^ 非 空 ,集合 5 在 点 ze S 处 的 法 锥 Ns(x) 定义 如 下 : 
Ns(z) = (d € R"|d" (y — z) < 0}, 


这 里 d € Ts(z) 称 为 法 方向 . 
当 S 边界 为 光滑 曲面 时 , 法 锥 退化 为 通常 的 法 方向 . 由 定义 不 难 验证 , 法 锥 是 
me. 
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RMA SE — RE, 是 非 光 滑 分 析 与 优化 中 最 重要 的 内 容 . 本 章 讨 论 凸 函数 的 
重要 性 质 , 如 无 特别 声明 , 本 章 讨 论 的 函数 是 在 广义 的 实数 轴 上 取 值 的 , 即 可 以 取 
值 —oo 和 +o. 


2.1 西 函 数 基本 性 质 


定义 2.1.1 i Sg R^ LKR RE, fc) 为 定义 于 5 到 RU{+oo} 上 
的 函数 , 如 果 f(z) 不 恒 等 于 +0, 且 对 任意 xz,y€ 5S, 0< 和 <1, 有 


f  (1— y) € Af (x) + (1 — Nf, (2.1.1) 一 


则 称 f(z) A S 上 的 凸 函 数 . 如 果 当 x Ay 时 , 式 (2.1.1) 中 严格 不 等 式 成 立 , 则 称 
f(x) 为 严格 凸 函数 . 不 取 值 -oo 且 不 恒 等 于 +o 的 凸 函数 称 为 正常 凸 函 数 , 不 是 
正常 的 凸 函数 称 为 非 正 常 凸 函 数 . 

例 2.1.1 利用 定义 2.1.1 可 以 验证 下 面 的 初等 函数 是 R 上 的 凸 函 数 . 


(1) f(x) = e*; 
(2) f(z) = |zl; 
(3) f(a) = —lhnz, z>0, 


+00, r «O0. 


定义 2.1.2 R^ 上 的 凸 函数 的 有 效 域 定义 如 下 : 
dom f = {z € R"| f(x) < +0}. 


容易 验证 , 凸 函数 的 有 效 域 一 定 是 凸 集 , 反 过 来 , 有 效 域 为 凸 集 的 函数 不 一 定 
是 凸 函 数 . 
定义 于 凸 集 SCR" 上 的 凸 函 数 都 可 扩展 到 R^. ERR, 例如 , 定义 f(z) — 
如 下 : n 
ga  J f(z), res, 
ile) = | +œ, rS, 
A, f(x) 为 定义 于 R^ EAR Kie, 一 般 来 讲 我 们 考虑 的 凸 函数 都 是 定义 
于 全 空间 的 . 
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定义 2.1.3 R f(z) X R 上 的 函数 ， 如 果 存 在 常数 c > 0, 使 得 对 任意 
z,yEeR"MO0<rA<1,4 


fOr + 0- Xy) & MG) + (1-A)Fly) — 50 —A) zu, 1) 


则 称 f(z) 为 强 凸 函 数 (关于 常数 o). 
命题 2.1.1 R f(z) 为 定义 于 R^ 上 的 函数 , f(x) 是 强 凸 函数 (关于 常数 o) 
的 充 要 条 件 是 f(z) — Se lal ARH. 


证 明 ”根据 凸 函数 的 定义 ， f(z) — Želel 为 凸 函数 等 价 于 


JO + (1- Xy) - el + (1 — Xl 
SAFE) + Q — Fly) - 3c lel? Q — 2) t) (2.1.2) 


经 过 整理 可 知 , X (2.1.1) 与 式 (2.1.2) 等 价 . 命题 得 证 . 

WR —f(c) SBM, WH f(r) 是 四 函数 . 既是 凸 函数 又 是 四 函数 的 函数 称 
为 仿 射 函数 , 线性 函数 既是 凸 函数 也 是 止 函数 . 

下 面 引 入 函数 上 图 概念 , 它 在 非 光滑 分 析 中 广泛 应 用 , 是 研究 和 处 理 一 些 非 光 
滑 现象 的 一 个 有 效 工具 . 

定义 2.1.4 X f(x) 为 定义 于 R^ 上 的 函数 , f(z) 的 上 图 Epif 定义 如 下 : 


Epi f = {(t,a) € R"*'|f(z) < a}, 


如 果 上 式 中 “<" H «e AR, 则 Epi f 称 为 严格 上 图 . 

上 图 和 函数 本 身 是 可 以 相互 确定 的 , 给 定 了 函数 的 上 图 , 可 由 下 式 确定 函数 本 
5: 

f(x) = inf (u|(z, u) € Epif}, 

此 处 约定 inf Ø = +00. 

下 述 定理 建立 了 函数 凸 性 与 其 上 图 凸 性 的 关系 . 

定理 2.1.1. R f(z) AR” 上 的 函数 , 则 f(z) 为 凸 函 数 的 充 要 条 件 是 它 的 上 
图 为 RH 中 的 凸 集 . 

证 明 ”必要 性 . 假设 f(z) WOR i 


Z1 一 (r1,41) € Epi f. 22 = (x2, y2) € Epi Í, 
其 中 11,22 € R^, Viv € R, 对 任意 0 < 入 < 1, 则 有 


Azı + (1 — A)ze = (Azı + (1 — A)z2, Ayı 十 (1 一 入 )y2). 
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由 于 f(x) ABBR 2, 22 € Epi f, WA 


f(x + (1 — 2)22) < Af (1) + (1 — A) f (22) 
X Ay + (1 — A)ye, 


根据 上 图 的 定义 有 
(Ari + (1 — A)za, Ayı + (1 — Aya) € Epi f, 


于 是 Epi f 是 RY 上 的 凸 集 . 
充分 性 . 假设 Epi f HR 中 的 凸 集 . Wr zs €R",0<A< 1, 由 


(x1, f(zi)) € Epi f, (x2,f(72)) € Epi f 
A Epi f EDHE, 则 有 
A(z1, f(z1)) + (1 — A) (z2, f(x2)) € Epi f, 


即 
(Ati + (1 — A)z2, Af (31) + (1 — A)f(x2)) € Epi f. 


由 上 图 定义 , 则 有 
fi 十 (1 一 Ajz2) < AF (21) + (1 = A) Ff (22), 


这 说 明 f(z) WR” 上 的 凸 函 数 . 命题 得 证 . 
定义 2.1.5 f(z) 为 定义 于 R^ 上 的 函数 , FERA: 


Lo(f) = 1x € R"|f(x) < a} 


称 为 函数 f(x) 的 水 平 集 , 其 中 a 为 一 给 定常 数 . 

容易 证 明 , 凸 函 数 的 所 有 水 平 集 是 凸 集 , 反之 则 不 成 立 , 即使 一 个 函数 的 所 有 
水 平 集 都 为 凸 集 , 但 该 函数 也 不 一 定 是 凸 函 数 . 所 有 水 平 集 为 凸 集 的 函数 称 为 拟 凸 
函数 . 拟 凸 函数 是 一 类 重要 的 广义 凸 函 数 , 它 在 最 优 性 条 件 , 特别 是 Kunh-Tucker 
充分 性 条 件 建立 中 起 到 重要 作用 . 

利用 上 图 概念 , 我 们 得 到 西 函数 的 下 述 Jensen PER. 

命题 2.1.2 (Jensen KER) KW f(x) 为 R^ 上 的 凸 函 数 ， 


Z1 ,Tm € R”, Are Am Z0 


21 Pe BCE ATE I “29. 


且 有 . 
PES 
i=l 
则 下 述 不 等 式 成 立 : 
fuz +: + AmEm) S Af (zi) + Amf (£m). (2.1.3) 
证 明 ”由 于 


(zi, f(ai)) € Epi f, i=1,---,m, 
根据 定理 2.1.1, Epi /为 RH! 上 的 凸 集 , 所 以 (ci f(t), i=1,---, 的 凸 组 合 也 
在 Epi f 中 , Bp m 


Ans filz)) € Epi f, 


i=l 


或 
» x7) € Epi f, 
i=l i=l 
故 式 (2.1.3) 成 立 . 命题 得 证 . 
定义 2.1.6 Ut f(r) AR” 上 函数 , 如 果 对 任意 re R", 0< 入 < +oo, 有 
f(Aa) = Af(z), 


WK f(z) 为 正 齐 次 函数 . 
例 2.1.2 f(x) = |z| 为 及 上 的 正 齐 次 函数 . 
WH 2.1.3 f(z) AR” 上 的 正 齐 次 函数 , 则 f(z) 的 上 图 为 RO 空间 上 
的 锥 . 
证 明 设 入 > 0, 利 用 f(z) 的 正 齐 次 性 , 直接 推导 得 
AEpi f = A{(z, u)lf(z) € u} 
= (Qa Au)|f(x) < uj 
= (m, Au) fax) < Au] 
= {(y, k)|f (y) < k} 
= Epi f, 
这 说 明 Epi f 是 一 个 锥 . 命题 得 证 . 
WH 2.1.4 f(r) AR 上 的 实 值 正 齐 次 函数 , 则 f(z) 是 凸 函数 的 充 要 条 
件 是 对 任意 xz,y e R^, 有 


f(x y) < f(x) + fly). (2.1.4) 
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WEBB ”必要 性 . 假设 f(z) 是 凸 函 数 , 根据 f(z) 的 正 齐 次 和 上 同性 得 
eG) 


<2 (#0 + 570) 
= f(e) f), 


即 式 (2.1.4) 成 立 . 
充分 性 . BEA (2.1.4) 成 立 , 对 任意 0 <A < 1, 由 f(z) 正 齐 次 性 得 


F(C = Aja + Ay) € F((1 — Nz) + f) 
= (1—A)f(x) + Af (y), 
故 f(x) 是 凸 函数 . MARE. 
推论 2.1.1 B f(z) WR” 上 的 正 齐 次 凸 函 数 , Ni > 0,i = 1 m, WE 
FONT1 +e t AmEm) S Af (21) +: t Amf (Em). 
推论 2.1.2 B f(z) X R^ 上 的 正 齐 次 凸 函 数 ， 则 对 任意 r € R^,CÉ 


f(-x) 2 -f(x). 
例 2.1.3 WX S C R^ AES OS, 函数 


Hus(z) = inf{A|A 20, x € AS) 
称 为 集合 5 的 规范 函数 , 或 Minkowski 函数 . 容易 验证 , 规范 函数 是 凸 函数 . 
定义 2.1.7 MERE: 
JUAz) 2 Af(zr), A20, 
f(x y) < f(x) + fly) 


定义 2..8 WX Sc R^ XdE D ES, 函数 


es(r)-— max slg (2.1.5) 
BA S 的 支撑 函数 , 支撑 函数 有 时 也 记 为 Ps(z) 或 o*(2| S). 
由 式 (2.1.5) 不 难看 出 
08(AZ) = Amax siz 
=o(z), AZO, 
os(xt+y)< max sta + max sly 


= as(z) + as(y), 


22 "SORGE WE 31: 


故 支撑 函数 oza) 是 正 齐 次 函数 . 
例 2.1.4 X Sc R" 为 非 空 凸 集 , 函数 


ds = inf lly — z| 
称 为 距离 函数 . DL PE ee ee. 设 x,z e R^, 在 集合 5 中 , 选取 两 组 
序列 {ue} 和 (yt), 使 得 
lye — || > ds(z) k= +00, 
lyk — zl — ds(z), k => +00. 
对 任意 0< 入 < 1, 由 5 的 凸 性 有 
Ayk + (1 — Ny € S, 
TÉ 
ds(Az + (1 — A)z) < [Ayr + (1 — NW — Az — (1 — Ny 
< A ly — zl + (1 — A) ll — yll- 
对 上 式 右 端 关 于 有 一 oo 取 极限 得 
ds(Az + (1 — A)y) < Adg(x) + (1 — A)dg(z), 
这 就 证 明了 上 距离 函数 ds(x) 的 凸 性 . 


2.0 "uA IDE 


本 节 讨 论 凸 函数 的 一 些 代数 运算 , 主要 是 一 些 保持 凸 性 的 运算 . 
2.2.1 合 运 算 
EH 2.2.1 B f(z) AR 上 的 实 值 凸 函数 , p(z) 是 R ERROR, 则 
复合 函数 h(x) = v(f(x)) 是 R^ 上 的 凸 函 数 . 
证 明 ”对 任意 x,y e R”, 0 入 和 入 1, 根据 f(x) 的 西 性 有 
f(x + (1— A)y) € Af(z) + (1 - Nf. (2.2.1) 
根据 p(z) 的 单调 性 和 西 性 , 将 式 (2.2.1) 应 用 于 函数 p(z) 直接 计算 得 
h(Az + (1 — A)y) = e(f (Ax + (1 — NY)) 
< e(Af(x) + (1 — A) f(y) 
€ Ag(f(z)) + (1 — A)o(F(y)) 
= Ah(z) + (1 — X)h(z), 
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故 h(z) 是 凸 函数 . 定理 得 证 . 

利用 定理 2.2.1 可 以 验证 一 些 复合 函数 的 凸 性 . 

例 2.2.1 f(z) 是 R^ LOLA Whiz) = FO diee WM 
ylz) = ez, A o(z) 是 及 上 的 非 减 凸 函数 , 利用 定理 2.2.1 即 得 A(x) 的 凸 性 . 

例 2.2.2 Be f(x) ZIEGAK, p 1, W 


(y) y. y 2d, 
ply) = 
0, y «0, 


利用 定理 2.2.1, 则 知 A(x) = (f(x) = (f(z))? Eh BR. 

WH 2.2.1 R f(x) 是 凸 函数 , 则 它 的 非 负 乘 积 f(z) 也 是 凸 函数 . 

WEB] W p(y) = My € R, A 2 0, W oly) 是 不 减 凸 函数 , 由 定理 2.2.1, 
Af (x) = o(f(x)) ERRA. 命题 得 证 . 


2.2.2 ABMS FRM 


由 上 一 节 可 知 , R* 上 的 凸 函 数 都 伴随 着 R*+! 中 的 一 个 上 图 , JF ARH 
由 它 的 上 图 来 表示 , BI 
f(z) = inf(u|(z, u) € Epi f]. (2.2.2) 


现在 我 们 考虑 它 的 反问 题 : RH PEE AAU R^ 中 的 一 个 凸 函数 呢 ? 
下 面 定 理 给 出 了 肯定 的 回答 . 
定理 2.2.2 WE FC R^ 为 凸 集 , 定义 函数 


f(x) = inf(ul(z, u) € F}, rcR^, 


W f(z) AR” 上 的 凸 函数 . 
HERB izr, ye R”, 不 妨 假设 


f(x) # +00, fly) # too, 


于 是 存在 a, 8 €R, 使 得 
f(x) < a, fly) < B. 


由 函数 f(x) 的 定义 , 存在 uy € R 满足 <a,7 < B, 使 得 
(x,u) EF, (y, y) € F. 
根据 集合 F 的 凸 性 , WA 


A(z, u) + (1 — (y, v) = (Az + (1-3) Aw + (1 — Ay) € F, 
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于 是 
f(Azx 4 (1 — Ajy) < Apt (0 — Ay < Aa + (1 — A)8, 
这 说 明 f(x) 为 R^ 上 的 凸 函 数 . 定理 得 证 . 
2.2.3 #70 
给 定西 函数 有 (x) 和 f(x), 它们 上 图 的 和 Epi fi + Epi fo 也 是 R^*! mmy 
集 , 将 它 作 为 上 图 也 可 以 导出 RA 中 的 一 个 凸 函 数 , 这 个 凸 函数 如 是 fi) 和 户 (z) 


的 卷 积 . 
定义 2.2.1 BRA l(c) 和 hlr) WR” EAR, Fix) 和 f(x) 的 卷 积 定义 


如 下 : 
(fiDf2)(z) = inf( faí(zi) + fa(za)lzi + 22 = T}, (2.2.3) 
式 (2.2.3) 也 可 表示 为 
(f Bfa)(r) = inf, 
定理 2.2.8. B fila) 和 fhlr) 为 R^ ELR, WEB (ADhe) 也 为 R^ 


Lr, 且 其 上 图 为 Epi fi + Epi fo. 
证 明 $ 


(filu) + fo(x — y). 


F; = Epi fj, i=1,2, F = Fi + Fs, 
则 FF 是 R^ PAS. 根据 集合 FF 的 定义 , (su) e F 当 且 仅 当 存在 
ti ER”, ucR, (ru)EF, t=1,2, 
且 
T = Tı + T2, k= fit pe. 


以 五 为 上 图 构造 凸 函数 , 根据 定理 2.22, inf{u(z, u) € F) 为 R^. 上 的 凸 函 数 , 而 
CEE (Of) (r). 定理 得 证 . 
例 2.2.3 R Sc R^? HA, FRB: 


0, TES, 
ste) =| to zés 


称 为 集合 5 的 指示 函数 . 不 难 验 证 , 指示 dslr) 是 凸 函数 . 利用 定义 , K f(x) = |x 
和 6(z) 的 卷 积 得 


(f025)(c) = inf {le — vll + 9()) 


= inf lz — yll = ds(z), 
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这 里 的 ds(z) 为 距离 函数 . 这 也 证 明了 距离 函数 是 凸 函 数 
例 2.2.4 H filz) = sat Ami = 1,2, 其 中 A1, Ap 是 正定 矩阵 , f(x) 和 户 (z) 
的 卷 积 为 


(SiCifa) = 5 int(y" Ay + (2 — y)" Ale — y) 
= jT AD + Ag!) 
R^ E m NENA f (2), fm(z) 的 卷 积 定义 如 下 ; 
(AB Dfa(z)) = infCfi(i) +-+ fm (Tei zu mc). 


易 见 adm Ope) =F (e); 


上 式 也 说 明 , 如 果 f(z) 是 凸 函数 , 则 my (z«) 也 是 凸 函 数 , 这 里 m 是 正 整数 事 
S: E, 可 以 证 明 对 任意 正 数 m, mf (z+) MEN BM 
2.2.4 BABAR 
考虑 最 大 值 函数 
f(z) = sup fi(z), (2.2.4) 


其 中 fá(z,ielrdé R^ 上 的 凸 函数 , 1 为 任意 指标 集 . 
定理 2.2.4 X (2.2.4) 给 出 的 函数 f(z) 是 R 上 的 凸 函数 . 
证 了 明 ”由 于 每 个 ie J, fi(x) 的 上 图 Epi f; BOR, 故 它们 的 交 N Epi f; 是 
icI 


凸 集 . 根据 式 (2.2.4) 有 
Epi f = ((z, u)|z € R",u € R, f(z) < p} 
= {(z, u)lx € R",u € R, fi(x) Suic I) 
ier 
这 说 明 f(x) 的 上 图 是 凸 集 , 故 f(x) 是 凸 函数 . 定理 得 证 . 
例 2.2.5 X Sc R^" HR, S 的 支撑 函数 ôs) = sup ty 是 线性 函数 
ye 
zTy( 其 中 y 固定 ) 的 逐 点 取 最 大 得 到 的 , 由 定理 2.24, 它 是 凸 函数 . 
例 2.2.6 设 z=(z1,…,zn) E R”, 函数 


f(z) = max{z1,.…, Tn|z = (21,-+-,2n)} 


22 凸 函 数 代数 运算 “35 - 


是 线性 函数 f(z) = zTe; 的 逐 点 上 确 界 , 其 中 e; AR 中 第 i 个 分 量 为 1 的 单位 
向 量 , 所 以 f(a) 是 凸 函数 . 
2.2.5 TUE 

EX 2.2.2 g(x) Æ R^ 上 的 函数 , F = co(Epi g), 函数 f(x) = inf(u|(z, u) € 
F} 称 为 g(x) 的 凸 包 , 通常 记 为 cog(x). 

g(z) 的 凸 包 cog(z) 是 不 大 于 g(x) 的 最 大 凸 函数 , 它 可 以 用 来 对 一 个 非 凸 函 数 
进行 凸 化 . 如 果 9(z) KS ROHR, 那么 它 的 凸 包 就 是 它 自身 . 

根据 定理 1.1.3, (x,u) € F = co(Epi g) 的 等 价 条 件 是 


(z, u) = Ai (21, 41) +--+ +Am(Zm; Hm) 
= (Aix Tec AmEm; Àua Tec Am iim), 


其 中 . 
(s,u)€ Epig, X z0i-l,m SASL. 
i=l 
于 是 
f(x) = inf(ul(z, u) € F} 
— inf bus Tee Ambm | = Azi +- + Àizi, 
(i) S Hi, À; > 0, i = Lm MX = i} 
i=l 
= int Dues) Angler = dna bot Aa 
X 2 0, ilem od cil 
t=1 
2.2.6 FRR 
定义 2.2.3 f(z) 是 R^ 上 的 凸 函数 , 则 称 


f'(z*) = sup(zTz* — f(z)|z € R°} (2.2.5) 


为 f(z) FERC. 
fbER 2.2.2 3 f(z) BR” LHR, MEHEKS f*(x*) 也 是 凸 函数 . 
证 明 ”对 固定 的 z € R^, 函数 


h,(x*) = x'z* — f(x) 
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是 仿 射 函数 , HEIC BR EM, ft (ot) 是 函数 hlr) KT z 的 逐 点 上 确 界 , 根 
据 定 理 2.2.4, f*(z*) ERA. 命题 得 证 . 

命题 2.2.3 (Fenchel FER) f(z) HR” 上 的 凸 函数 , 则 下 述 不 等 式 成 

f(z)4f'(z)2zla*, Vz,z' ER”. (2.2.6) 


WEBB ”由 式 (2.2.5) 得 


— 


f'(a*)mzizr*-—f(zr), Vr,r* E€ R”. 
所 以 式 (2.2.6) 成 立 . 命题 得 证 . 
设 f(x) ER” ER GRR, AER NDS. 
(1) 如 果 gle) = f(z) 4 e, BP e HBR W g*(z*) = f*(z*)—- 6 
(2) 如 果 g(x) = f(x + y), W g*(z*) = f*(z*) 一 yz 
(3) WR g(x) = f(az), HA a #0, Wl g*(z*) = f* (5) 
z 


at: 


(4) MR g(x) = af(x), HP a> 0, W g*(7*) =af* (=). 
2.2.7 R f(x) =e", r ER. 根据 定义 得 


F” (z^) = sup(zz' — e7}, 


通过 分 析 和 计算 得 
r*inz*--z*, z* 0, 
fFa)-40 z* - 0, 
+00, r* < 0. 


例 2.2.8 i LX R^ 中 的 子 空间 , 工 的 指示 函数 OL (z) SHH 


sup (zTz* — 6, (2)}= sup zTz* 
rcR^ zER” 


_ JO, z* € L+, 
Too, z*e€L 
= bp. (x*), 


其 中 L+ 为 工 的 正 交 补 . 
例 2.2.9 SAR PAR, W S 的 指示 函数 的 共 特 为 S 的 支撑 函数 . 
根据 定义 , gs(z) MFG RBC 


(65(x))*(2*) = supfzIzr -65(zjlzER?} 


= supz Tz" 
res 


= 63 (2"). 
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2.3 ARAK Lipschitz 连续 性 


本 节 讨 论 凸 函数 的 连续 性 , 特别 是 它 的 Lipschitz 连续 性 . 
定义 2.8.1. W f(z) 为 定义 于 开 集 D c R^ 上 的 函数 , 如 果 对 任意 x € D, F 
FER 6, L, 使 得 


|F (z1) — f(x2)) < Ella — voll. V21, £2 € B(z, 6), 


则 称 为 f(z) 为 D 上 的 局 部 Lipschitz 函数 . 如 果 存 在 常数 L, 使 对 任意 的 zi, zz € 
D, 都 有 
|f (z1) — f(z3)] < L lx ~ zoll; 


则 称 f(x) A D 上 的 Lipschitz 函数 , 也 称 为 全 局 Lipschitz 函数 . 

显然 , 局 部 Lipschitz 函数 是 连续 函数 , 它 实质 是 一 种 更 强 的 连续 函数 , 全 局 
Lipschitz 函数 一 定 是 局 部 Lipschitz 函数 . 不 难 验证 , 连续 可 微 函 数 是 局 部 Lipschitz 
函数 ， 

为 了 证 明 凸 函数 的 连续 性 , 首先 证 明 以 下 两 个 常用 的 不 等 式 . 

定理 2.3.1 X f(z) X R ERDERAZ, zo < zi < 22 € dom f, 则 有 下 述 不 等 
式 成 立 : 


£1 — To T9 — To 
f(a) = fGo) < f(2) = fle) (23:2 
X1 — To £2 — Ly 
WA $ 
— Ti — To 
T2 — 20’ 
nj 
0cAc1 1-A- PIT 
X2 — To 
A 
AL + (1 一 入 )Z0 一 ZLOT a + 2T o = gı. 
T2 — To T2 一 To 


利用 f(z) 的 凸 性 有 


f(zi) = f(Axa + (1 — A)ao) 


< £L flea) + 2E (a0). (2.3.3) 


T2 — To T2 — To 
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将 式 (2.3.3) 两 边 同 时 减 去 f (xo) 得 


fa) - f(z0) < 2 ) - f(29)). 


故 式 (2.3.1) 成 立 . 
将 式 (2.3.3) 变形 为 
oa OU + E fla) < DF Flan) + E f(29) 
或 
T2 一 
PEU (z1) ~ f(x0)) € mese Uno) - f(a1)), 


故 式 (2.3.2) 成 立 . 定理 得 证 . , 

定理 2.3.2 Wt f(x) 是 R^ 上 的 凸 函 数 , W f(z) 在 ri(dom f) 中 的 每 个 紧 子 
E s 上 有 上 界 . 

证 明 ”根据 有 限 覆 盖 定 理 , KE S 可 以 被 顶点 在 dom f AWART BABE 
盖 , 故 只 要 证 明 f(x) 在 ri(dom f) 中 的 单纯 形 上 有 上 界 即 可 . 如 果 f(x) 是 非 正 常 
函数 , 结论 自然 成 立 , 因此 假设 f(x) 是 正常 凸 函数 . 

以 下 按 单纯 形 的 维 数 应 用 归纳 法 . 由 函数 的 凸 性 得 


Fr + (1—A)y) &Af(z) + (L—A)fy), OSA], 


这 说 明 f(x) 在 一 维 单纯 形 (一 维 单纯 形 为 有 界 闭 区 间 ) 上 是 有 上 界 的 . 假设 f(x) 
在 dom f 内 任意 一 个 7+ 一 1 维 单纯 形 上 有 上 界 . 设 57(z1,…,zr41) 为 了 维 单纯 形 ， 
其 中 z1,… ,zr+1 € ri(dom f), WR 


z ES (T1, ,Tr+1), T É Sen, ` 
则 有 

T= Àizi Tex rp Lr + Àr+1£r+1; 

r1 
A20, ¢=1,---,r 41, Soar =1, Arg <1. 
将 上 式 改 写成 
z = uz + Ar+1Zr+l) 

其 中 


Aiz 十 …… 十 和 rZr 


一 1 一 入 ; = 
H rt) z 1 — dpa 
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由 于 zi, …，zr 是 仿 射 无 关 的 , 所 以 z 是 dom f 中 7 一 1 维 单纯 形 的 点 . 由 归纳 法 
假设 , 存在 与 z1,… ,z+ 无 关 的 常数 N, 使 得 f(z) <N, 故 


f(x) < uf 2) + Artif (@r4i) < max{N, f(rr+1)}, (2.3.4) 


这 说 明 f(z) dE ST(zi,---,m..1) 上 有 上 界 . 定理 得 证 . 
定理 2.3.3 XX f(z) 是 R^ 上 的 正常 凸 函 数 , A zo € dom f 的 一 个 邻 域内 
有 上 界 , 则 f(x) 在 zo 处 连续 . 
证 明 ”不 失 一 般 性 , 设 zo = 0. TE, 存在 常数 5>0 和 N, 使 得 
f(z)&N, x € B(0,6). 
考虑 函数 
gla) = f(oz), o€R, 
由 定义 不 难 验证 ，g(a) 为 R 上 的 凸 函 数 ， 对 函数 g(a) 利用 式 (2.3.1), 其 中 取 
T2 = &1, T0 =0, 化 1 一 1, 得 


gC) ~ 9(0) — g(a) — 9(0) 
1 X 


而 
g) =f) &N, g(0)=f(0)<N 
所 以 
flax) ~ f(0) < 2Na. (2.3.5) 
ER (2.3.2) 中 , > 
zo = —1, 2,=0, z2-—a, 
得 
9(0) — g(—1) .. g(a) = 9(0) 
0-(-1) >^ a ' 
故 
-2Na < f(az) — f(0). (2.3.6) 
由 式 (2.3.5) MR (2.3.6) 得 
\f(ax) — f(0)| € 2Na. (2.3.7) 


FER c > 0, 对 于 ye 也 (o x) 则 存在 x c B(0,5), 使 得 y = sy 由 式 (2.3.7) 
得 
Fw) - FOI = |f (252) - f)| <2N =s, 
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所 以 f(x) 在 zo = 0 处 连续 . 定理 得 证 . 

定理 2.3.4 H f(z) 是 R^ 上 的 正常 凸 函数 , 则 f(z) 在 ri(domf) 上 连续 . 

WEBB 设 ao € ri(dom/), 则 存在 单纯 形 5*(yo,y1,… uk), 使 得 xo 为 该 单纯 
形 的 内 点 , 其 中 uoi. ye € domf, k=dim(domf). MEM 2.3.2, f(x) Æ xo 的 
一 个 邻 域 上 有 上 界 , 再 由 定理 2.3.3, f(x) YE xo 处 连续 , 进而 x 在 ri(domf) 上 连续 . 
定理 得 证 . 

定理 2.3.5 Wt f(z) 是 R^ 上 的 正常 凸 函数 , S 是 ri(domf) 中 的 任意 紧 子 集 ， 
WW f(x) 在 S 上 Lipschitz 连续 . 

WEBB ”不 失 一 般 性 , 假设 dim(domf) =n, 其 中 dim 代表 维 数 , 则 S C int(dom). 
对 任意 s > 0, $+ B(0,c) 是 紧 集 , 由 B(0,e) 的 闭 性 及 S C int(domf) 得 


NG + B(0, )) ( (R^ Nint(dom f)) = Ø, (2.3.8) 


所 以 存在 一 个 s > 0, 使 得 
(S + B(0,e))\(R"\int(dom f)) = Ø, 


即 

S + B(0,&) C int(dom f). 
由 定理 2.3.3, f(z) Æ S+ B(0,c) 上 连续 , 故 f(x) 在 S-- B(0,e) LAF, XX No, Ni 
分 别 是 它 的 上 、 下界. 注意 到 cy eS, ry, > 


€ 
z=y+—— - az) 


ya 
则 
| lel ule (o) aln dee (239) 
WM z € S+ B(0,£). id | | 
YZF 
ESTEE 


则 
O<A<lLy=(Q1—-A)xet+rz, 


根据 f(x) 的 凸 性 有 


2.4 光滑 凸 函 数 的 微分 .41. 


f(y) — f(a) < A(N2 — N1) 


= iyl 
“Cty ap N) 


No — N. 
< My - all. (2.3.10) 


由 z,y 在 5S 中 的 任意 性 可 得 f(z) YE S 上 Lipschitz 连续 . 定理 得 证 . 
推论 2.3.1 X f(r) WR” 上 的 实 值 凸 函数 , 则 f(z) 为 R 上 的 局 部 Lipschitz 
函数 . 


2.4 光滑 加 函数 的 微分 


本 节 介绍 光滑 凸 函 数 微分 的 一 些 性 质 , 以 及 用 它 的 微分 来 刻画 函数 的 凸 性 , 当 
然 要 假设 函数 取 有 限 值 . 

定理 241 Wt f(x) AR” 上 的 可 微 函 数 , 5 X R^ 上 的 凸 集 , 则 有 下 述 结 
ie: 

(1) f(x) 在 S 上 是 凸 函 数 当 且 仅 当 


f(x) > f(zo) + Vf(zo)' (x — zo), Yro z € S; (2.4.1) 


(2) f(z) ES 上 是 严格 凸 的 , 当 且 仅 当 对 于 zo zz 时 , 式 (2:41) 中 严格 不 等 
号 成 立 ; 
(3) f(x) 在 S LÆRD (关于 系数 c) 的 , 当 生 仅 当 


fla) > flzoj+VHteojrte — a0) + x liz — xol. (2.4.2) 
证 明 (1) 假设 f(z) 是 S 上 的 西 函 数 , 对 任意 zo m6 5,0 cA c 1, A 
F(C — A)zo + Ax) — f(xo) < A(f (£) — f(o)) 
上 式 两 边 除 以 A, 然后 取 极 限 , 注意 到 
Az + (1 — Azo = zo + Ma — 20), 


则 堪 端 极限 为 
V f (ao) "(x ~ zo), 
A (2.4.1) 得 证 . 
男 一 方面 , 假设 式 (2.4.1) 成 立 ， 对 任意 2,22 € 5S,0< 和 <1 记 zo = 
Ary 十 (1 一 入 )z2, 由 式 (2.4.1) 得 
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f(zi) 之 f (zo) + V f (xo)? (x: 一 Lo), i= 1,2. (2.4.3) 
对 上 式 进 行 凸 组 合 得 
Af (x1) + (1 - X)f (22) > f (xo) + V f(zo)* (ri + (1 — 2)z2 — xo), 


即 
f(Az1 + (1 — À)z3) < Af (21) + (d — A fF (22), 


这 说 明 f(z) ENBA. 

(2) 充分 性 类 似 于 结论 (1) 的 证 明 , 只 考虑 必要 性 . 假设 对 于 zo0,z1 e S, To £2, 
0 < 入 <1, 式 (2.4.1) 中 严格 不 等 式 成 立 , 类 似 于 结论 (1) 的 证 明 可 得 

f(Ato + (1— Nz) < Af (zo) + (1 — Nf(z), 

即 f(x) 是 严格 凸 的 . 

(3) 根据 命题 2.1.1, f(z) 是 强 凸 的 充 要 条 件 是 f(z) - 3 lel? 是 凸 的 , 对 函数 
f(z) - 5 ll 利用 结论 (1), 则 得 结论 (3). 定理 得 证 

定理 24.1 说 明 , f(z) 是 凸 函数 , 则 它 的 上 图 总 是 在 它 的 切 平面 

y = f(r0) + V f (zo)! (x ~ zo) 

之 上 (在 点 (zo, f(zo)) 处 相交 ); 当 f(z) 是 严格 凸 时 , 只 在 点 (zo, f (x9) 处 相交 ; 如 
果 f(z) 强 凸 的 , 则 它 的 上 图 在 二 次 凸 函 数 


z > f(z0) + VF(00)" (2 — o) + Sella ~ zoll? 


之 上 . 这 一 性 质 是 凸 函数 最 典型 的 几何 特征 . 
下 面 讨论 可 微 凸 函数 梯度 的 单调 性 . 
定义 2.4.1 E SCR”, F(x)» SI R 上 的 映射 , rz, s AS 中 任意 两 点 ， 
如 果 
(F(x) ~ F(z'))*(z — 2’) > 0, 


则 称 映射 F(x) 在 S 上 是 单调 的 ; 如 果 
(F(z) ~ F(z^)) (z — 2") > 0, 
则 称 映射 F(z) 在 S 上 是 严格 单调 的 ; 如 果 


(F(x) — F(z'))T(z — 2") > elle — zoll , 
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对 于 一 维 情形 , 单调 性 退化 为 单调 增加 . 下 面 我 们 将 利用 函数 梯度 的 单调 性 来 
研究 函数 自身 的 凸 性 . 

定理 2.4.2 dX f(x) AR” 上 的 可 微 函 数 , S c R^ 为 凸 集 , 于 是 f(z) BS 
(严格 凸 、 强 凸 (关于 参数 c)) 的 当 且 仅 当 它 的 梯度 Vf(z) 在 S. 上 是 单调 (严格 单 
调 、 强 单调 (关于 参数 c)) 的 . 

WEBB ”必要 性 . 将 凸 性 与 强 凸 性 证 明 结合 在 一 起 , 当 参 数 c = 0, 强 凸 性 就 是 
PUES 假设 f(x) 在 集合 S 上 是 强 凸 的 , 由 定理 2.4.1, 对 任意 mor € S, 有 


f) > fs) fo) (x — 20) + Selle ~ zol, 
F(a) > F(a) + Vila)" (ao — 2) + Že zo - alf. 
上 述 两 式 相 加 , 即 可 得 到 Vf(z) 的 强 单调 性 
充分 性 . 假设 f(z) 是 强 单调 的 . 给 定 zo,z1 c R, 考虑 单 变量 函数 p(t) = 
f(x), 其 中 x, = ro 十 t(z1 — zo), t € [0,1]. 显然 , p(t) 是 可 微 的 , 其 导数 为 y(t) = 
V f (zi)! (x — zo). 于 是 , 对 于 0<ti<t<1, 有 
e() — eh) = (f(x) — VF l@e,))" (as — 20) 


< Ale) -via) (en) (244) 


V f(a) 的 单调 性 和 式 (2.4.4) 说 明 , y(t) 是 单调 增加 函数 , 根据 一 维 函 数 的 有 关 结 
R, 函数 y(t) 是 凸 的 . 
下 面 讨论 强 凸 性 . 在 式 (2.4.4) rh, > ti = 0, 并 考虑 到 V f(z) 的 强 单调 性 , 得 


e(t) - 9'(0) > Sellar — aol? = teli — zol? 
注意 到 函数 p(t) 是 自身 导数 的 积分 , 于 是 得 到 
1 
e(1) - (0) - y'(0) = n (et) — e (0))8t > ell — zl 


由 函数 y(t) 的 定义 , 上 式 正 是 式 (2.4.2), BD f(x) 是 强 凸 的 . 
用 类 似 的 方法 可 以 证 明 结 论 (2). 定理 得 证 . 
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本 章 讨论 非 光滑 是 函数 的 微分 学 . 尽管 凸 函 数 在 其 定义 域 的 内 部 一 定 是 连续 
的 , 而 方向 导数 也 是 存在 的 , 但 还 不 是 处 处 可 微 的 . 在 这 一 章 中 , 作为 可 微 凸 函 数 梯 
度 概 念 的 推广 , 我 们 引入 次 微分 的 概念 , 并 讨论 其 有 关 性 质 . 本 章 假定 凸 函数 仅 取 
ARE. 


3.1 凸 函 数 次 微分 的 定义 及 有 关 性 质 


EN 3.1.1 WU f(z) ER" 上 的 实 值 函数 , 如 果 极 限 
lim Herd- fen (3.1.1) 


t—=0t 


存在 , 则 称 这 个 极限 是 f(z) 在 > 点 沿 方向 d 的 方向 导数 , 记 为 fed) 
对 是 函数 , de pag 010 — 0) 关于 + uM, 32 8 sii 
定 是 局 部 Lipschitz 的 , id L AH Lipschitz 常数 , 则 当 t 充分 小 时 , 有 
HeD 10) < pap. 


amam 67100 — 12) 是 有 界 的 ， 所 以 极限 (3.1.1) 总 是 存在 的 , 也 就 是 说 
四 函数 方向 导数 是 存在 的 , 并 且 可 表示 为 下 述 形式 ， 
Pes) = gp 00 1 
EE RAREE f(z) 为 R* ENEA, 则 对 国定 的 z, 它 的 方向 导数 /7(z;d) 


关于 d 是 次 线性 函数 . 
WEB] W$ dido € R”, 和 >0, 由 函数 f(x) 的 凸 性 得 


f(z 4 t(Adi + (1 — A)d2)) — f(z) 
= fa + tdi) + (1 — A)(z + tdo)) — Af(z) — (1 — A) (z) 
< A(f(z + tdi) — f(r) + (1 — A)(f(z + td) — f(z)), | Vt » 0, 
两 边 同 除 以 t, 并 令 t 0*, WA 
f'(2;Àdi + (1 — Ada) < Af'(z;di) + (1 — 2) f'(a ; da), 


3.1 RRRKAONE MRAKHE : 45- 


这 就 证 明了 f'(z;d) XT d 的 凸 性 . 
设 入 > 0, 有 


f(x; M) = im, fet rd - f) 


这 说 明 f'(z;d) 关于 d 是 正 齐 次 的 , M fP'(x;-) 是 次 线性 函数 . 定理 得 证 . 
HT eh ee f(x) 是 局 部 Lipschitz 的 , 记 L A f(x) 在 x 点 附近 的 Lipschitz 
常数 , 则 有 


f(z + td) — f(z) 


LEA — ; 
H (z;d)| UU im t 
< lim Llldl 

t-0* 


=Lldl, VdeR". (3.1.2) 
事实 上 , 不 难 验证 下 述 不 等 式 成 立 
FC: ; dı) — f' (2; da) < L laa 一 d2|| ; Vd, do c R^. (3.1.3) 


定义 3.1.2 Wt f(c) WR” 上 凸 函 数 , f(z) 在 z 点 的 次 微分 0f (x) 定义 如 

T: 
Of(z) = {E ER" |f(y) > f(z) - £ (y — z), Vy e R"), 

I3 € € Of (x) 称 为 次 微分 中 元 素 , 也 简称 为 次 微分 或 次 梯度 . 

不 等 式 

fy) > f(z)-£'(y-z, VyeR"^ (3.1.4) 

称 为 次 梯度 不 等 式 ， 它 的 几何 意义 是 仿 射 函 数 h(z) = f(x) + ET (2-2) 总 在 f(x) 上 
图 Epif 之 下 , 且 在 点 (x, f(z)) 处 与 Epif 相交 , 因此 也 称 为 是 Epif 在 点 (z , f(x) 
的 一 个 支撑 超 平面 . 

定理 3.1.2 XE f(z) AR” 上 的 凸 函数 , W E cafa) 的 充 要 条 件 是 


fi(a;d)>€"d, vdeR". (3.1.5) 


WEB) ”必要 性 . HE c 8f(z), 则 由 次 梯度 不 等 式 (3.1.4) 得 


f(z + td) — f(x) 


; >éTd, Vde R",t>0. 
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对 上 式 取 极限 (t 一 0+), 即 得 式 (3.1.5). 
充分 性 . BEA (3.1.5) 成 立 , 因为 式 (3.1.1) 中 的 差 商 是 单 减 的 , WA 
f(x td) — f(x) 
t 
考虑 到 任意 yc R” 都 可 表示 为 y = rcd, By = z+ td RAR (3.16) 得 式 
(3.1.5), 这 说 明 € c Of (x). 定理 得 证 . 
定理 3.1.3 R f(z) AR” 上 的 凸 函 数 , 则 其 次 微分 0f (z) 为 及 ”中 的 凸 紧 


2f(r;d, VdeR",t»0. (3.1.6) 


集 . 

WEBB ”根据 定义 易 见 8f (z) BAB, 为 证 明 紧 性 , 只 需 证 明 Of (z) 的 有 界 
性 .假设 Of (z) 是 无 界 的 , wW LA f(x) 在 点 x 附近 的 Lipschitz BAK, WE 
E E Of (x), 使 得 IE > L. 根据 定理 3.2.1 MX (3.1.2) 得 


leTa| < LIEIL, vd eR”. 
在 上 式 中 选取 d = 6, WA 
(lel? = [eT] < £ iel, 

AX JES L, 这 与 (e| > 五 矛盾, 所 以 Of (x) 是 有 界 的 , HMRORR. 定理 得 证 . 

从 定理 3.1.2 证 明 中 可 以 看 出 下 述 推论 成 立 . 

推论 3.1.1 3X f(c) A R^ EMR, L2 079 f(x) 在 z 点 附近 的 Lipschitz 
常数 , 则 对 任意 上 se OF (2), 有 lel < L. 

下 述 定理 是 凸 函 数 微分 学 中 的 重要 定理 之 一 , 它 建 立 了 方向 导数 和 次 微分 之 间 
的 关系 . 

EE 3.1.4 B f(z) 为 R^ 上 的 凸 函数 , 则 有 


‘(a ;d)= max £Td, Vde R”. 3.1.7 
iw id)= max € (3.1.7) 


证 明 ”根据 定理 3.13, Of (z) 是 紧 集 , 因此 式 (3.1.7) 右 端 max Ed 是 有 意 
义 的 . 由 定理 3.1.2 可 得 


' r;d)2 max Td, vd c R^, 3.1.8 
ft ) Qe. S i ( ) 
以 下 证 明 
, x;d)< max Tq. vd c R^. 3.1.9 
f ) Io 6 | ( ) 


对 于 给 定 的 z, ds R^, 考虑 R*+!1 中 如 下 子 集 和 半 超 平面 


Sı = {(z,w) |f (z) < w}, 
S5 = ((z,w)|z =£ +ad,w = f (£) +af' (rd),a 2 0). 


3.0. rug LUCA EFIE XU TE JR .47. 


显然 , S1 和 So 是 非 空 凸 集 , 且 不 相交 , 根据 凸 集 分 离 定理 , 存在 非 零 向 量 (y) € 
R^*!, 使 得 


3 (f (x) +af! (z;d)) +u” (£+ ad) € yw pz, 
Va 20, zeR", w»f(z). (3.1.10) 


3X (3.1.10) 中 y 不 能 小 于 零 , 否则 , 式 (3.1.10) 右 端 当 w 充分 大 时 可 任意 小 , 不 等 
式 不 能 成 立 , y 也 不 可 能 为 零 , 否则 , 由 式 (3.1.10) 可 得 u = 0, 与 (uy) 非 零 相 矛 
盾 , 因此 必 有 y > 0. 不 妨 假设 7 = 1( 当 然 也 可 对 式 (3.1.10) 两 端 同 除 以 y), 则 有 
f(a) - of' (x; d) +ad™y <w+(z-2)"p, 
Va 20, zceR", w> f(z), (3.1.11) 


4 a=0, RRR w 一 f(z) 得 
f(z) -(z-2)'w<f(z), VzeR^, 


这 意味 着 -je OF (x). ÆR (3.1.11) 4, $ z=2,0=1, 并 取 极 限 w — f (x), WA 
F (ad) < —d™ 4, 这 说 明 式 (3.1.9) 成 立 . 联 立 式 (3.1.8) 和 式 (3.1.9) BR (3.1.7). 
定理 得 证 . 

定理 3.1.4 说 明 , 方向 导数 是 次 微分 的 支撑 函数 , 这 样 凸 函数 的 次 微分 与 其 方 
向 导数 相互 唯一 确定 . 

定理 3.1.5 B f(z) PR” ERRAZ, 则 有 下 述 结论 : 

(1) € € Of(z) 的 充 要 条 件 是 (€,-1) 是 Epif 在 (m, f(x)) 处 的 法 方向 , 也 就 是 
说 Epif 在 (x, f(z)) 处 的 法 锥 有 下 述 形式 : 


NEpif (2 , f(z)) = {(AE ,—N) |E € OF (x) , A 20). (3.1.12) 


(2) f(z) 的 上 图 Epif 在 (z ,f(z)) 处 的 切 锥 是 方向 导数 函数 d 一 f(x ;d) 的 
上 图 , 即 
Tepif (7 , f(7)) = {(d,7) |r > f(z ;d)}. 


WEB] (1) 根据 法 锥 和 上 图 的 定义 , (£,—1) € Nepiy (x, f(z)) 等 价 于 
ET(y — z) + (-1)(r - f(z)) <0, VyeR^, r2 fy), 


Bq 
r2f(z-t'(y-z), Vy€R^, rz fy). 
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显然 ,上 式 与 式 (3.1.5) 等 价 , BRES £ € Of (x) 等 价 , 再 根据 法 锥 定义 知 式 (3.1.12) 
成 立 . 结论 (1) 成 立 . 

(2) Epif 的 切 锥 是 式 (3.1.12) 给 出 锥 的 极 锥 , 即 由 满足 下 述 条 件 的 向 量 (d,r) € 
R” xR 形式 的 集合 : 


MTd+(—A)r <0, VEE Af(x), ADO. 
不 妨 考 虑 A> 0 情形 , 上 式 两 边 除 以 入 得 


r2 max d= f'(x;d), 
ae f (zd) 


结论 (2) 成 立 . 定理 得 证 . 

定理 3.1.6 X f(z) Aj R^ 上 的 实 值 凸 函数 , W f(z) YE z 点 可 微 的 充 要 条 件 
是 其 次 微分 为 单 点 集 , 此 时 有 0f (a) = {Vf(z)}. 

WEBB ”必要 性 . 假设 f(x) 在 x 点 可 微 , 给 定 £c f(x), > 


ze = £+ Z(E = VfG)) 


由 f(x) 在 x 点 的 可 微 性 得 
F (oe) = f(x) + VF (a)" (zx — £) + o(lz — z|l), (3.1.13) 
由 E € 8f(z) 及 次 微分 定义 得 
-f(zx) < - f(x) - € (ae — x). (3.1.14) 


x (3.13) 与 式 (3.14) 相 加 得 
0 € (Vf(x) — €)" (zx — £) + o(llzk ~ zll) 
--ly - vy (a)? +0 (stk - vfi) 

k k i 
PARA k 

IE — VEE)? < olllé — V.f(z)]D- 
上 式 说 明 IE- V f(x)]| = 0, 即 次 微分 为 单 点 集 , 故 Of(z) = (Vf ()). 

充分 性 . 假设 9f(z) 为 单 点 集 , id 8f(z) = (E, 于 是 


f'(x;d) = E €T d = £1d, 
而 f'(r;d)-£Td 说明 f(x) 是 可 微 的 , 其 梯度 为 Vf(z) = €. 定理 得 证 . 
定理 3.1.6 说 明 , 凸 函 数 次 微分 确实 是 可 微 凸 函数 梯度 概念 的 推广 . 


3.2 凸 函 数 的 极 值 条 件 与 中 值 定理 : 49 - 


3.2 凸 函 数 的 极 值 条 件 与 中 值 定理 


本 节 介 绍 用 次 微分 给 出 凸 函数 的 极 值 条 件 和 中 值 定 理 . 首先 讨论 一 维 函 数 . 
引 理 3.2.1 设 f(x) 为 一 维 实 值 凸 函数 , 则 有 


Of (x) = [-f'(c; 1), f'(:1)] = [f (2), f4 (2)] , 


其 中 f(x) 和 fil) BAIA f(x) 在 z 处 的 左右 方向 导数 . 
证 明 ”对 于 一 维 函 数 只 有 两 个 方向 +1, 因此 由 定理 3.12, € € 6j(z) 的 充 要 
条 件 是 
f(51)2& f(x;-1)> -€, 


所 以 
8f (x) = [-f'(z; -1), f'(z;1)]. 
注意 到 
f (2) = —f'(z; 1), fi (x) = f'(2;1), 
结论 成 立 . 引 理 得 证 . 


定理 3.2.1 f(r) 为 R^ 上 的 实 值 凸 函数 , 则 zx* 为 f(z) 最 小 点 的 充分 必 
要 条 件 是 0 € Of (z*). 
证 明 ” 设 0e6f(z*), 根据 次 微分 定义 , HE r eR”, 有 


f(x) — f(z*) 2 0T (x — a*), 
于 是 
f(x) > f(z*), 
z' 是 f(x) 的 最 小 值 点 . 
另 一 方面 , 设 z* 为 f(x) 的 最 小 值 点 , WA 
f(z)2f(zr', Vz €R^, 
Bl 
f(z) 2 f(z*) - 0T(z — z*). 


根据 次 微分 定义 , 0 € Of (a*). 定理 得 证 . 
定理 3.2.1 是 可 微 情 形 最 优 性 条 件 的 推广 , 当 f(z) TAR, Of (x) = {Ve}, 
此 时 0 € Of (x) 即 为 0 = Vf(z). 
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所 谓 凸 函数 的 中 值 定理 就 是 利用 次 微分 对 任意 两 点 z ,y € R^ 给 出 f(y) - f(x) 
的 一 种 表示 . 类 似 于 光滑 函数 的 中 值 定理 证 明 , 我 们 也 要 借用 这 样 一 个 一 维 函数 : 


p(t) = f(ty+(1—-t)z), te]/0,1]. (3.2.1) 
e(t) 是 f(z) 在 区 间 [z , y] 上 的 限制 , 不 难 验证 它 是 一 维 凸 函数 . 
引 理 3.2.2 i& f(z) A R” 上 的 凸 函 数 , 则 式 (3.2.1) 定义 的 凸 函数 v(t) 的 次 
微分 为 
Op(t) = {E (y — x) |E € OF (2+) }, (3.2.2) 
其 中 on = ty + (1 — x. 
证 明 ”直接 计算 得 
, am It riy 7 2)) - fre 


g(t) = lim, - = f'(zuy — x), 
ot) = tim Jer 9 =F) Lo pu yay, 
考虑 到 
f (zty — 2) = cen S (v-z), 
fan -(y- 2) =- max gT(-y+2)= min. &'(y - 2), 
于 是 
p(t) = (e. (t) ,p54 (t)] 
~ NE NULLE ae O 2) 
= (€ (y - £) |£ € ðf (2) }. 
引 理 得 证 . 


定理 3.2.2 B f(x) AR 上 的 实 值 凸 函数 , 给 定 z,y € R^, HÄ o zy, W 
存在 te (0, 1) Hl £ Of (x), 其 中 r = ty + (1-ta, 使 得 


f(y) — f(z) ^ € (y - z), (3.2.3) 


或 记 为 
fy) - f(z) € JU [€ (y — a) |€ € Of (21) }. 


证 明 ”针对 式 (3.2.1) 给 出 的 函数 v(t), 引入 下 述 辅助 函数 : 
w(t) = e(t) — p(0) — t(y(1) ~ v(0)). 
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显然 vt) 是 凸 函数 , 通过 计算 y(t) 的 左右 导数 , 得 其 次 微分 为 
Ov(t) = Op(t) — (e(1) ~ v(0)). 
注意 到 v(0) = v(1) = 0, X v(t) 是 连续 的 , 于 是 它 在 某 一 点 t € (0, 1) 处 达到 极 小 
值 , 根据 定理 3.2.1, 0 € 6w(t), 由 引 理 32.1, 存在 € € Of (a), 使 得 
€ (y — x) = p(1) - y(0) = f(y) — f(z). 
定理 得 证 . 
中 值 定理 也 可 以 用 下 述 积分 形式 给 出 : 
1 
fly) — sa) = | Esa seafGo (3.2.4) 


R (3.2.4) 的 含义 是 : WE € 是 f(zx) 在 线段 [z, y] 上 点 次 微分 中 的 任意 一 个 选 
择 , XX (3.2.4) 右 端的 积分 与 选择 无 关 , 它 总 是 等 于 fly) - f(x). 4 f(x) 是 可 微 凸 
函数 时 , 定理 3.2.2 给 出 的 中 值 定理 就 是 微 积分 中 的 Lagrange 中 值 定理 . 


3.3 一 些 凸 函数 的 次 微分 
对 于 一 般 的 凸 函 数 , 其 次 微分 是 很 难 计算 的 , 特别 是 解析 表达 式 很 难得 到 , 本 
节 对 一 些 特殊 的 凸 函数 , 给 出 它们 次 微分 的 解析 表达 式 . 
3.3.1 ”支撑 函数 


设 5 为 及 ”中 的 非 空 凸 紧 集 , S 的 支撑 函数 65(z) 在 x = 0 处 的 次 微分 为 集 
fr S 本 身 , 即 655(0) = 5. 事实 上 ， 


ó$(z) 2 0$(0)--£T (2 —0), vreR” (3.3.1) 
等 价 于 
max vie zés, Vee R”. (3.3.2) 


显然 , 如 果 上 c S, WR (3.3.2) 成 立 , 进而 式 (3.3.1) 成 立 , 根据 次 微分 定义 上 < 
86%(0), 这 说 明 S c 6865(0)， 另 一 方面 , 设 é € 062(0), WSK (3.3.1) 成 立 , 进而 式 
(3.3.2) 成 立 . 注意 到 , 式 (3.3.2) 右 端 可 看 成 为 单 点 集 (6). 的 支撑 函数 , 根据 凸 紧 集 
与 支撑 函数 的 关系 , 由 式 (3.3.2) 得 € e S, 这 说 明 065(0) C S, 于 是 003(0) = S. 
3.3.2 ”距离 函数 

假设 SAR’ PHAGE, 那么 点 z 到 5 的 距离 函数 ds(z) = min |ly — zl| 是 凸 
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Ns(z)f)B(0,1, zres, 
oOds(z) = 


(ERG) "4° 


为 证 明 公式 (3.3.3), 我 们 分 两 种 情况 : 
(1) x € S, 此 时 ds(z) > 0, 利用 链 锁 法 则 有 


2 (7 
Vds(z) = VY R(T) = um. 


TH, 只 要 证 明 
Vds(z)=2(z — ps(z)), 


其 中 ps(z) 为 点 z 到 集合 5 的 投影 . 记 
A= @(c +h) - di), 


由 于 
d3(x) < ||£ — ps(z + h)|\?, 


则 有 


A 2 |lc+h—ps(x+h)||? — ||z — ps(z + h)]? 
= [Ih + 2AT (a — ps(x + h)). 


c5et+h HESSE, 可 得 


A < ||z +h — ps(z)|l* — |x — ps(x)\|? = IIA|? + 2hT(x — ps(z)). 


因为 函数 ps(z) 是 非 膨胀 的 ( 简 式 (1.2.4), 即 
lips (x1) — ps (z2)]] < llz1 — all, 
于 是 
ps (£ + h) = ps (x) + o (||hl]), 
将 此 式 代 入 式 (3.3.4) 后 联 立 式 (3.3.4) 和 式 (3.3.5) 得 


A = 2h" (x — ps(z)) + (|All), 


于 是 
Vdi(z) = 2(z — ps(z)). 


(3.3.3) 


(3.3.4) 


(3.3.5) 
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(2) B z € S, id € € 0ds(z), B 
ds(z) > T(x- x), Yz’ € R^, 
这 意味 着 
£T(z! —2) <0, Vr ES, 
FÆ € € Ns(z). BR z' — c6, 有 
IIE}? < ds(z +£) < Ilz + € — zl]  II£ll- 
反 过 来 , 设 ce Ns(z) NBO, 1), 考虑 
€ (a! — 2) = €*(2' — ps(z')) + € (ps(z’) - 2), 
HF £ € Ns(z), 上 式 中 最 后 一 项 是 非 膨胀 的 , 由 于 Cauchy-Schwarz 不 等 式 及 |I€|| < 
1.4 
T € (x’ — ps(2’)) < liz’ — ps(z^)ll = ds (z^), 

WH € € 8ds(z). 定理 得 证 . 
3.3.3 ”复合 函数 

定理 3.3.1 Ut f(r) 和 户 (z) Jy R^ 上 的 凸 函数 , 则 对 任意 和 1, 02 > 0, 有 


90s fi(z) + àzf2(2)) = M8 filr) + A2Ofo(z). 
证 明 VR HO f(z) + Xa 户 (z) 的 方向 导数 , 得 


Qa fi(z) + Aa fa(z)) (x id) = Ar filz jd) + Av fa(z id) 


=, max €'d+ 2 max ¿ld 
£€8fi(z) €cOfa(x) 


= max (£!d|£ € x0fi(z) + As0fo(z) ), (3.3.6) 


上 式 中 最 后 两 步 利用 了 支撑 函数 的 性 质 . 式 (3.3.6) 说 明 , 函数 AL fi (n) + Ao fo(x) Jj 
向 导数 的 支撑 函数 为 .8 有 1(z) t A20 fa(z), 于 是 它 的 次 微分 为 10 fi (x) + A90 fo(z). 
定理 得 证 . 

定理 3.3.1 是 关于 次 微分 链 锁 法 则 , 但 由 于 凸 性 只 对 加 法 和 正 数 乘 封 闭 , 因此 ， 
对 于 次 微分 , 没有 乘 、 除 以 及 复合 运算 等 一 般 形式 的 运算 法 则 . 

定理 3.3.2 WAAR" 到 Rm 上 的 仿 射 映射 , 记 A(z) = Ar +b, 其 中 Ao 
为 m x n WHERE, bE R”, gly) 是 R” 上 的 凸 函 数 , 则 复合 函数 go A(z) 的 次 微分 
为 

O(go A)(z) = ALOg(A(z), Ve € R^. (3.3.7) 
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证 明 计算 (ge4)(z) 的 方向 导数 
(so AY (zd) = lim, (go A)(x + e ~ (go A)(z) 
— lim g( A(z) + tAod) — g(A(x)) 
t—0t t 
= q'(A(x) ; Aod), vd e R”. (3.3.8) 


上 式 右 端 可 表示 为 
g' (A(z) ; Aod) = max{€™ Aodl£ € Og(A(z))} 
= max(£'d|t € Aj 0g(A(z))}. (3.3.9) 
联 立 式 (3.3.8) 和 式 (3.3.9) 说 明 , (go A) (x) 的 方向 导数 为 ATOA) 的 支撑 函数 , 于 
是 它 的 次 微分 为 4 89(4(z)). 定理 得 证 . 
3.3.4 RABE 
HM 3.3.1 i f(z) AR” 上 的 函数 , zo € R^, 如 果 对 任意 e > 0, 存在 常数 
ô, 使 得 
f(a) — f(to)<e, Va € B(z,ô), 
则 称 f(x) 在 xo 处 是 上 半 连 续 的 ; 如 果 对 任意 。 > 0, 存在 常数 5, 使 得 
—e < f(x) - f(zo), Vz € B(z,ô), 
则 称 f(x) 在 zo 处 是 下 半 连 续 的 . 
f(a) 在 ro 处 连续 当 且 仅 当 f(z) 在 zo 处 同时 上 半 连 续 和 下 半 连 续 . 
考虑 函数 
f(z) = sup {fi(x)|t € I}, (3.3.10) 
其 中 了 是 任意 一 指标 集 , (x) 为 R^ 上 的 凸 函 数 , 再 假设 f(x) < too. 我 们 知道 ， 
式 (3.3.10) 给 出 的 函数 f(x) 是 凸 函数 . 
命题 3.3.1 ”对 于 式 (3.3.10) 给 出 的 函数 f(x), 其 次 微分 有 关系 式 : 
cl cofU8fi(z)]i € I(x)} C Of(z), (3.3.11) 
其 中 
I(x) = {i € I fi(x) = f(x)}- 
WEB] ”给 定 ie M(x) Hb € Af,(x), 根据 次 微分 定义 有 
fly) 2 fi(y) 2 fila) + €" (y - 2) 
=f(x)+é"(y—z), Wye R”. 
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上 式 说 明 € e Of (x), 故 
Ofi(z) C Of(z), iel(a). 

再 由 Of (x) 的 闭 凸 性 , Of (x) 包含 afila) ica) 的 并 及 其 闭 凸 包 , A (3.3.9) 成 立 . 
命题 得 证 . 

X (3.3.11) 仅仅 是 一 种 包含 关系 , 等 式 不 一 定 成 立 , 下 述 定理 在 一 定 条 件 下 得 
到 了 等 式 关系 . 

定理 3.3.3 ”假设 指标 集 7 WAR (在 某 一 度量 空间 里 ), 且 对 每 一 固定 x € R^, 
函数 ; fr) 是 上 半 连 续 的 , 则 有 


f(x) = co (U8f.(z)li € I(z)). (3.3.12) 


WEB] ”已 知 条 件 f(x) < oo 和 了 的 紧 性 及 i 一 file) 的 上 半 连 续 性 说 明 , (2) 
是 非 空 紧 集 . 记 
S= N 9fi(z), 


i€l(z) 
根据 式 (3.3.11), S 是 有 界 的 , 以 下 讨论 S 的 闭 性 . WE (s) C 5 为 一 收敛 点 列 , 其 
极限 为 s, 于 是 对 每 一 个 sk 存在 指标 ir € T(x), 使 得 s, c afa (x), Bl 
fü(y) 2 fi (2) + skly- r), Vy € R^. 


选取 {ig} 中 一 收敛 子 列 , 不 妨 记 为 {in} 本身 , S k> +00, 根据 2) 的 紧 性 得 
ipic I(x), 这 时 有 
fü (x) = F(x) = fi(z). 
再 由 函数 f(y) 的 上 半 连 续 性 , 得 
fi(y) 2 jim, sup fi (y) 2 fi(z) -s"(y—z), Vy € R^, 
于 是 s € Ofi(z) C 5, 这 就 证 明了 S 是 闭 的 . 另外 , s € afila) CSAS 的 紧 性 说 明 
它 的 凸 包 也 是 紧 的 , 于 是 式 (3.3.12) 的 右 端 也 是 紧 集 . 根据 命题 3.3.1, 只 需 证 明 
Of(z) C co{f{J afili € I(z)). (3.3.13) 

为 此 要 证 明 下 述 不 等 式 (其 中 等 式 部 分 由 支撑 函数 得 到 ): 

f'(x ;d) < 6s(d) = sup{ f; (x ;d)|é € I(z)). (3.3.14) 
对 于 e >0, 有 


f(z + td) ~ f(z) 


, »f(r;d)-&e, Yt>0. (3.3.15) 
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对 于 上 > 0, $ 
n= fie EEOAE > posu e}, 


显然 n 是 非 空 集 . 再 由 了 是 紧 集 以 及 函数 fio (cc td) 是 上 半 连 续 的 , 可 知 AR 
集 . 事实 上 , 7, 是 函数 


ple rtd Ko), o Ste) 


的 水 平 集 , 其 中 第 一 项 为 凸 函数 的 差 商 , 第 二 项 分 子 非 正 , 因此 对 于 0 < € t 有 
le, C ls. 
由 五 的 紧 性 , 必 存 在 ie P) (对 每 一 个 T € (0,2), Mi, € ILC l 7 0t 
t> 
HEA, CRE LP, FRA 
fi (x + td) - f(z) 2 t(f'(xid)-6), Vt» 90, 


因此 i* € I(z)( RR f. 的 连续 性 , t 5 0+)， 在 上 述 不 等 式 中 , 用 file) RE 
f(x), FRY t, 而 后 再 取 极限 得 


ós(d) > fi (x ;d) 2 f'(x d) — e. 


由 deR" 和 se>0 的 任意 性 , X (3.3.14) 成 立 . 定理 得 证 . 

推论 3.3.1 HY CR? JRE, g (xz) 为 定义 于 R^ xY 上 的 函数 且 满 足下 述 
条 件 : 

(1) 对 每 个 z € R^, g(z,-) 是 上 半 连 续 的 ; 

(2) 对 每 个 y € Y, g(,y) 是 可 微 凸 函数 ; 

(3) 函数 f (x) = max f (x,y) 存在 . 
记 

Y (72) = fy = f (x,y) = max f (2,9) } 
则 有 
Of (z) = co{Vef (x,y) ly € Y (z)). 

推论 3.3.2 W file) ic IAR” Efe | 为 有 限 指标 集 , WRK 

值 函数 f(z) = max fi) 的 次 微分 为 


Of (x) = co{Vfi(x)|é € I(x)], (3.3.16) 


其 中 
I(x) = {i € Tlfi(z) = f(z)). 
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WEBB ”对 固定 的 zx, 函数 i 一 f(x) 变量 只 取 离 散 值 , 因此 一 定 是 上 半 连 续 的 ， 
由 定理 3.3.3, 式 (3.3.16) 成 立 . 推论 得 证 . 

推论 3.3.2 中 的 有 限 可 微 凸 函数 的 极 大 值 函数 是 非 光 滑 优化 中 一 种 最 为 常见 的 
Pg 


3.4. 次 微分 的 单调 性 和 连续 性 


3.4.1 单调 性 


第 2 章 已 经 讨论 过 可 微 凸 函数 梯度 的 单调 性 , 本 节 将 其 推广 到 非 光滑 凸 函 数 
的 次 微分 形式 . 

定理 3.4.1 设 f(z) AR” 上 的 凸 函数 , 则 次 微分 映射 z 一 Of(z) 是 单调 的 ， 
即 对 任意 21, 22 € R”, 有 


(£j —&)'(z2 21 20, V& € Of(zi, i=], 2. (3.4.1) 
证 明 ”考虑 次 梯度 不 等 式 : 
f(z2) 2 f(ai)+ € (x2 ^21), VE, € OF (zi) 


f(z1) 2 f(z2) c £2 (za — 21), Veo € Of (z2), 
将 以 上 两 式 相 加 即 得 到 式 (3.4.1). 定理 得 证 . 
定理 3.4.2 W f(r) AR" 上 的 函数 , 则 f(x) 是 强 凸 (关于 常数 c) 的 充 要 条 
件 是 对 任意 z1, r2 € R”, 有 


f(z2) 2 f(z1) + €T (za — 1) + dlez -zi?. VE € Of(x1), (3.4.2) 
或 等 价 地 
(2 -&) "(a2 — £1) >cllzs - si], VE € Of(zi), i-12. (3.4.3) 


证 了 明 ”充分 性 . ASE ri, za € R", € (0, 1), id 
za Ado + (1 — A)z = z1 + A(29 — 21). 
假设 式 (3.4.2) RE, 则 对 任意 & € 0f (3), 有 


f(z2) > Flea) + (1 = AET (2 — a1) + Zell- lea ~ aul, 


f(z1) > f(xy) + A£T (x1 — 22) + 5 lke — 29\|’, 
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以 上 两 式 分 别 乘 以 入 和 (1 — A), 然后 相 加 得 
Af (x2) + (1 — A) f(z1) 2 f(za) + ellez = JP (AO A)? +- A). (8.4.4) 
注意 到 AL- 23)? 4+ (0-23)? 有 界 且 不 为 零 , A (3.4.4) 说 明 f(z) ERAH. 
必要 性 . 假设 f(x) 是 强 凸 的 , 即 对 任意 21, 22 € R^, A € (0, 1), 有 
Flza) = f(Ate + (1 — Nz1) 
< Af (a2) + 0 — Nr) - Scllzz — all 


< Af 2) + (1A) fl) - SAN -Allez — zll, 
上 式 变形 为 


Tox fem * je - A)||x2 — ill? < f(z2) — f(a). 


令 入 一 0+, 得 
f'(a1 ;£2 一 2Z1) 十 Idle —azi|l? < f(z2) — f(z), 


进一步 可 得 式 (3.4.2). 定理 得 证 . 
关于 式 (3.4.2) 与 式 (3.4.3) 的 等 价 性 , 这 里 从 格 . 
类 似 定理 3.4.2 可 以 得 到 下 述 定 理 . 
定理 3.4.3 R^ PHRA f(x) 是 严格 凸 的 充 要 条 件 是 对 任意 zl，za € R” 
Aa, #20, 有 
f(z2) > f(zi) +E" (z2 - 21), VE € AF (a1), 


或 等 价 地 
(£ -&:)" (a2 x1) > 0, VE €Of(z), i=1, 2. 


证 明 类 似 于 定理 3.4.2, ZEA. 
3.4.2 ”次 微分 的 上 半 连 续 性 


定义 3.4.1 W F(z) 为 R^ 到 R^ 子 集 上 的 集 值 影射 , zo € R^, 如果 对 任意 
e > 0, 存在 常数 5, 使 得 


F(a) C F(xo) + B(a,e), Va € B(z, 64), 
则 称 集 值 影射 F(x) 在 zo 处 是 上 半 连 续 的 ; 如 果 对 任意 © > 0, 存在 常数 6, 使 得 


F(zo) C F(x) + B(x,e), Vax € B(x, 6), 
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则 称 集 值 影 射 F(zx) 在 zo 处 是 下 半 连 续 的 . 同时 满足 上 、 下 半 连 续 的 集 值 影 射 称 
为 是 Hausdorf 连续 的 . 

集 值 影射 上 、 下 半 连 续 是 非 光 滑 分 析 中 的 一 个 重要 概念 , 在 非 光滑 优化 中 通常 
考虑 上 半 连 续 , 这 是 因为 许多 次 微分 都 是 上 半 连 续 的 ; 在 非 光滑 控制 理论 中 上 、 下 
半 连 续 都 有 应 用 , 甚至 有 同时 满足 上 、 下 半 连 续 的 集 值 影射 . 

例 3.4.1 定义 及 上 的 集 值 影射 F(x) 如下: 


{0}, z #0, 
ros O y z=0, 


不 难 验证 F(a) YE x = 0 处 是 上 半 连 续 的 . 
例 3.4.2 ”定义 R 上 的 集 值 影射 F(z) 如 下 : 


ra - | [11] «0, 
(0), r=0. 


不 难 验证 F(x) YE x = 0 处 是 下 半 连 续 的 . 
定理 3.4.4 X f(z) AR” 上 的 凸 函 数 , 则 集 值 映射 z 一 Of (x) 是 上 半 连 续 
的 , 即 给 定 xz € R^, 对 任意 es > 0, 存在 5 > 0, 使 得 


Of (2') C Of (zx)+B(0,e), Vz' € B(z,6). (3.4.5) 
证 明 ”用 反 证 法 . 假设 式 (3.4.5) 在 z 点 处 不 成 立 , 则 存在 
e>0, zk ER”, & €Of (re), &K=1,2,---, 
使 得 zk — x (k — oo), 
& ¢ Of (x) + B(0,e), k=1,2,.... (3.4.6) 


根据 次 微分 定义 有 
f(y) 2 f (te) + ER (y — zx). (3.4.7) 


由 次 微分 的 局 部 有 界 性 , {tk} FERATI, 不 妨 记 为 (E) BH, 记 & 9 €, HER 
(3.4.7) P, KF k — oo 取 极 限 得 


f(y) 2 f (£) - £t (y — z), 
这 说 明 E € OF (x), 这 与 式 (3.4.6) 矛盾 . 定理 得 证 . 
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3.5 & 次 微分 和 方 同 导数 


本 节 引 入 近似 次 微分 和 近似 方向 导数 ， 也 称 为 s 次 微分 和 e 方向 导数 ， 并 
介绍 一 些 基 本 性 质 ， 其 中 部 分 证 明 略 去 ， 有 兴趣 的 读者 可 参阅 Hiriart-Urruty 和 
Lemarechal 或 Rockfellar 关于 凸 分 析 的 专著 . 

EX 3.5.1 B f(z) AR” 上 四 函数 , < 为 非 负 常数 ,f(x) YE z 点 的 < 次 微 


Ocf(z) = {E ER” | f(y) 2 f(z) - £'(y—z) - & Vy € R^) , (3.5.1) 


向 量 € € Oc f(x) 称 为 es 次 微分 中 元 素 , 也 简称 为 < 次 微分 或 = 次 梯度 . 
从 < 次 微分 定义 易 见 下 述 关 系 式 成 立 : 


De f(x) i Oc, f(x), E1 € €2, (3.5.2) 
Of (x) = f(x) = (def (x) |e > 0}, (3.5.3) 
Oe La Wes F(E) D Xe f(z) + (1- A) f(a), 0«A«1. (3.5.4) 


3X (3.5.3) 说 明 次 微分 是 < 次 微分 的 一 个 特殊 情况 . 

定理 3.5.1 W f(z) 为 R* 上 的 有 限 凸 函数 ,a > 0, W e 次 微分 8 f(x) 为 非 
空 集 . 

证 明 ”根据 凸 集 的 分 离 定 理 , 存在 一 个 超 平面 严格 分 离 点 (m, f(x) -— ©) 和 凸 集 
Epif, 于 是 存在 常数 a 和 s c R^, 使 得 


str +a(f(z)—«) <sTy+af(z), yeR". (3.5.5) 
ER (3.5.5) PR y = 2, WA 
a(f(x) — €) < af (x) < +00, 
这 就 说 明 a > 0, 即 超 平面 不 是 垂直 的 , 这 样 
s= = € à. f(z). 
定理 得 证 . 


定理 3.5.2 H f(z) AR” 上 的 有 限 凸 函数 , c> 0, We 次 微分 8.f(z) 是 
R” 中 的 凸 紧 集 . 
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证 明 ” 闭 性 和 同性 可 以 从 定义 中 直接 得 到 , 我 们 只 需 证 明 有 界 性 ， f(z) 是 凸 
函数 , 因此 是 局 部 Lipschitz 的 , 设 工 是 f(x) 在 B(z,6) 内 的 Lipschitz 常数 , 其 中 
6 > 0. 对 于 & e698.f(zx) HEZO, 选取 


ô 
yart oes 
根据 。 次 微分 的 定义 , 则 有 
fla) +15 > flv) > fle) + ETE - e 


即 
lel < L+ 5, 
这 就 说 明 8.f(z) 是 有 界 的 . 定理 得 证 . 
利用 e 次 微分 也 可 建立 相应 = 最 优 解 的 最 优 性 条 件 . 事实 上 , 利用 e 次 微分 定 
义 可 以 直接 得 到 


0 € dfl) HHR f(e) « f(y)+e, Vy € R^. 


”根据 定义 可 以 得 到 e 次 微分 的 一 些 运算 性 质 . 

命题 3.5.1 设 f(z) AR” 上 的 有 限 凸 函数 , 下 述 结论 成 立 : 

(1) 设 g(x) = f(z) +o HY c ABR, WA gla) = 6.f(x); 

(2) BE g(x) = af (x), 其 中 a > 0, 则 A.9(x) = ae f(z); 

(6) 设 g(x) = f(az), 其 中 a z 0, 则 8.g(x) = að; f (az); 

(4) Be g(x) = f(a — xo), 其 中 zo € R”, WM O.9(x + zo) = ôe f(z); 

(5) W g(x) = f(z) - aTz, XP a € R”, Wl aglr) = 8. f(x) + {a}; 

(6) WR 户 (z) < falz), Vr € R”, filto) = f2(zo), 其 中 zo € R^, WA 
ð: fa(zo) C Oe fa(xo). 

E 次 微分 的 支撑 函数 , 称 为 < 方向 导数 , 记 为 fllad), 它 表 示 为 


/(z;d)—- max £'!d, deR”. 3.5.6 
filed) = max € (356) 


可 以 证 明 e 方向 导数 可 以 表 为 下 述 形式 : 
f(g:d) = inf f(x+td) = f(x) te 
利用 有 关 专 门 知 识 结合 e 次 微分 定义 可 以 得 到 下 述 结果 . 
定理 3.5.3 W filr), lr) AR” 上 的 有 限 凸 函数 ,e > 0, W 


O(fi(z) + fa(z)) D Ue fila) + Oc, falx) le1, es Z 0, €1 + €2 S €}. 


(3.5.7) 
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针对 局 部 Lipschitz 函数 建立 的 广义 梯度 是 对 可 微 函 数 经 典 梯度 的 推广 , 它 也 
是 目前 为 止 关 于 非 凸 函数 各 种 次 微分 中 最 有 影响 的 一 种 , 在 非 光滑 分 析 中 占有 重要 
位 置 , 在 最 优化 中 得 到 广泛 应 用 . 本 章 将 介绍 广义 梯度 及 有 关 性 质 . 


4.1 广义 梯度 定义 和 基本 性 质 


4.1.1 局 部 Lipschitz 函数 

广义 梯度 是 针对 局 部 Lipschitz 函数 引入 的 , 因此 , 首先 介绍 局 部 Lipschitz PS 
数 . 

设 filz), Jala) 是 SC R^ 上 的 局 部 Lipschitz 函数 , 不 难 验 证 对 任意 实数 A1, 
do, A fi(z) + Aafa(z) 是 S 上 的 局 部 Lipschitz 函数 . 这 一 事实 说 明 局 部 Lipschitz 
函数 全 体 构 成 一 个 线性 空间 . 

命题 4.1.1 X f(x), fo(z) BSCR" 上 的 局 部 Lipschitz BR, 则 函数 


g(x) = max{fi (2), fo(x)}, 
h(x) = min(fi(z), fo(x)} 


也 是 S 上 的 局 部 Lipschitz pA. 
WEBB EA, gx) 和 h(x) 可 以 表示 为 下 述 形式 


g(x) = 5 (0) + fale) + f(s) = fal), 
h(a) = Z(E) + faa) = Mo) — fl). 


设 Li, La FHA filz) 和 fo(z) TE z AR Lipschitz 常数 , W L = max(Li, Lo}, 直 
接 推导 得 


lo(21) ~ ol2)| = Ma (2) + fo(3) + M 3) = f(e) 
~(Fulta) + falta) [fi (2) — foa) 
= MG) ~ i22) + fale) ~ fala) 
Hfi (e1) = Plai) = fal) = for 
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< s Gn) — fi(2)| + |fa(z1) — fa(z2)]| + 1fi(21) — fi(22) + f2(22) — f2(z1)1) 
< gii) — fi(z2)| + |fa(z1) — fa(z2)] + |f(z1) — fa(z2)] + |f2(£1) ~ fa(z2)l) 
— (1) — fi(z2)| + 1f2(21) — f2(z2) 


€Lijzi — 9| + L2 | — v2] 
=2L |z; — x2), 


这 说 明 g(x) 是 局 部 Lipschitz 函数 ， 
同 理 可 证 


|h(z1) — h(z3)| <|filzi) — fi(2)] + 1f2(21) — fa(22)] 


«2L [ri — zə], 


所 以 A(z) 也 为 局 部 Lipschitz 函数 . 命题 得 证 . 

命题 4.1.1 表明 , 局 部 Lipschitz 函数 关于 极 大 值 和 极 小 值 运算 是 封闭 的 , 这 
也 说 明了 局 部 Lipschitz 函数 的 广泛 性 . 常见 的 优化 问题 所 涉及 的 函数 也 多 为 局 部 
Lipschitz 的 . 


41.2 ”广义 梯度 定义 与 性 质 


针对 局 部 Lipschitz 函数 , 在 吸收 前 人 一 系列 研究 成 果 基 础 上 , 作为 连续 可 微 函 
数 梯度 的 推广 , Clarke 提出 了 广义 梯度 概念 . 

定义 44.1 B f(z) 为 开 集 S c R^ 上 的 局 部 Lipschitz 函数 , f(x) 在 点 x 
处 关于 方向 de R^ 的 广义 方向 导数 定义 为 


f°(r;d)= yim, sup futu) Hy) (4.1.1) 


t— ot 


由 f(x) 的 局 部 Lipschitz 性 质 , 右 端 差 商 总 是 有 界 的 , 因此 上 极限 一 定 存在 , 所 
以 广义 方向 导数 对 于 局 部 Lipschitz 函数 总 是 存在 的 . 一 般 说 来 , 局 部 Lipschitz PS 
数 的 经 典 方向 导数 


= tim EHDI) gers 
t—0t t 


f'(z;d) 


不 一 定 存在 , 即使 存在 , 一 般 来 讲 与 广义 方向 导数 也 不 相等 , 但 如 果 存 在 , 则 要 比 广 
义 方向 导数 小 , 即 
f'(z;d)« f'(z;d, Vde R” 


总 是 成 立 的 . 
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例 4.1.1 X 


24,1 
a r sin =, x #0, 
0, xz =0, 
函数 f(x) 是 R 上 的 局 部 Lipschitz 函数 . 根据 广义 方向 导数 和 经 典 方向 导数 的 定 
义 直 接 计 算 , 得 f°(0;£1) = 1, 而 f’(0;41) = 0, 所 以 f°(0; +1) z f^ (0; 1), 即 经 典 
方向 导数 和 广义 方向 导数 在 x = 0 处 不 相等 . 

定理 4.1.1 Wt f(z) WR” 上 的 局 部 Lipschitz 函数 , 在 点 z € R^ 附近 的 
Lipschitz 常数 为 L, 则 有 下 述 结论 : 

(1) 对 固定 的 z, 函数 d 一 f°(zx;d) 是 有 限 次 线性 的 , HE |f°(x; 四 | < Llall; 

(2) f°(z;d) 作为 (x,q) 的 函数 是 上 半 连 续 的 , 固定 x 作为 d 的 函数 是 局 部 
Lipschitz 的 , 其 Lipschitz 常数 为 L; 

(3) f*(z; -d) = (—f)°(a;d), Vd € R^. 

WEB] (1) 根据 Lipschitz 条 件 , 3X (4.1.1) 右 端 差 商 当 y 充分 接近 > RI t FH 
分 小 时 是 有 界 的 , B Llall AHER, 于 是 Lid] 也 是 fo(s;a) 的 一 个 上 界 , Bl 
|f*(;d)] < Ld] 成 立 . 

现在 考虑 函数 d — f^ (s; d) 的 次 可 加 性 . 通过 计算 得 
f(y + td, + td) — f(y) 

t 
< lim sup flytid tti) flytid) | lim sup 


上 式 右 端 第 二 项 为 f(z;d2); 对 于 第 一 项 , 考虑 y + td, 一 2, 所 以 有 


f(z + td) — f(z) 
t 


f*(z;di + d2) = lim sup 
tot 

f(y--td2) — f(y) 

t . 


td td5) 一 td. 
lim sup LY + 1 +td2) — f(y + td) < lim sup 
foot t toot 


= f° (z; dı), 


于 是 得 
f^ (z; di + do) < f° (x; di) + f°(x; da), 

TR d> f? (x; d) 是 次 可 加 性 的 . 根据 广义 方向 导数 的 定义 , f^ (m; Ad) = Af (m d), VAD 
0 显然 成 并 , 这 说 明 d 一 f?(z;d) 又 是 正 齐 次 的 , 故 d 一 f°(zx; d) 是 次 线性 的 , 结论 
(1) 成 立 . 

(2) 设 (xi) 和 (di) 分 别 收敛 于 z 和 da 的 序列 , 对 每 个 i, 根据 上 极限 定义 , 存 
在 y, c R^ 和 t; > 0, 使 得 | 

lyi — rill + ti < " 
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fd) — 1 < H+ GE) = Ss) 
— Fit tid) — f(y) | fy + tidi) — f(yi + tid) 
根据 f(x) 的 Lipschitz 性 质 上 式 中 第 二 项 不 超过 L|d; - dl, FÆ, 对 上 式 关于 
i — oo 取 上 极限 得 


jim sup f° (zi; di) < f(x; d), 
故 f*(z;d) 是 上 半 连 续 的 . 
根据 f(x) 的 Lipschitz EM, “4 y 充分 接近 x Alt > 0 充分 小 时 , 有 


f(y + tdi) — fly) < f(y + td2) — f(y) + L]jds — dallt. 
在 上 式 中 两 边 除 以 t, 然后 关于 y 5 z Alt 0* 取 上 极限 得 
F(a; di) < f(x;d2) + Llldi — da. (4.1.2) 


进一步 , 在 式 (4.1.2) 中 di, do 互 换 位 置 即 得 函数 f? (0; d) KF d 的 局 部 Lipschitz 
性 质 , 结论 (2) 得 证 . 
(3) 经 推导 得 


F(a; —d) = lim sup f(a’ — 2 f(z’) 


(—f)(y + td) — (—f)(y) 
t 


= lim sup 
tot 


=(—f)°(z;d), y=a'—td 


结论 (3) 成 立 . 定理 得 证 . 

定理 4.1.1 说 明 , 局 部 Lipschitz 函数 的 广义 方向 导数 关于 方向 是 次 线性 函数 ， 
根据 Hahn-Banach 定理 , 它 可 作为 一 个 目 紧 集 的 支撑 函数 , 这 个 凸 紧 集 就 称 为 广义 
梯度 . 

定义 4.1.2” 设 f(z) 为 R^ 上 的 局 部 Lipschitz 函数 , f(x) 的 广义 梯度 , 记 为 
afz), 定义 如 下 : 


of(z) = {EER™"ETd< f*(z;d), Vd € R^). (4.1.3) 


为 区 别 起 见 , 广义 方向 导数 和 广义 梯度 有 时 也 分 别称 为 Clarke 广义 方向 导数 
和 Clarke 广义 梯度 (或 Clarke 次 微分 ), 广义 梯度 也 可 记 为 6cyf (x) 或 9cf(z). 

定理 4.1.2 Xt f(x) X R” 上 的 局 部 Lipschitz BM, f(x) 在 x 点 附近 的 
Lipschitz 常数 为 L, 则 下 述 结论 成 立 : 
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(1) 8f(z) AR” ER XS, H lel « D, VE € 8f(z); 

(2) f?(z;d) = max (£T d|£ € ðf (x)) , vd € R”; (4.1.4) 

(3) € € Of(x) 当 且 仅 当 f^(z;d) > £d, Vd € R^; 

(4) 集 值 映射 z 一 Of(x) 是 上 半 连 续 的 . 

WEAR ”结论 (2) 和 结论 (3) 由 广义 梯度 定义 即 可 看 出 , 我 们 只 证 明 结 论 (1) 和 
结论 (4). 

(1) 根据 广义 梯度 定义 和 定理 4.1.1, 对 任意 ee Of (x), 有 


¿Td < f*(z;d)«L|d|, Vde R®. (4.1.5) 


THEE E € Of (x) 满足 IE > L, 则 选取 d = 6, 此 时 式 (4.1.5) 不 成 立 , 故 El] < L, 
vé € 8f(z). 另 一 方面 , 由 广义 梯度 定义 易 见 Of (a) 为 凸 紧 集 , 结论 (1) 得 证 . 
(4) 我 们 将 证 明 : 给 定 © > 0, 存在 6 > 0, 使 得 


Of (y) C Of (x) + B(0,«). (4.1.6) 


用 反 证 法 . 如 果 上 述 事实 不 成 立 , 则 存在 序列 {ys} 满足 y; 一 x, & € OF (y), 使 得 
& € Of (x) + B(0,c). 根据 凸 集 分 离 定理 , 存在 d; 40, 使 得 


di>éld, VE € Af(x) + B(0,c), 


FRA 
ef d; 2 max(£'d;|£ € f(x) + B(0,£)} 
= f° (x; di) + e||di||. 


因为 f?^(z;-) 是 正 齐 次 性 的 , 我 们 只 需 考 虑 d; 满足 |di| = 1. 选取 (6) 和 {di} 的 


ETd > f°(z;d) +e. (4.1.7) 


男 一 方面 , f°(yi;d) > EP (BA & € aflu), 9 i 一 oo, 利用 felad) 的 上 半 连 续 
性 有 f*(y; d) > ETd, XX EX (4.1.7) 矛盾 , 结论 (4) 成 立 . 定理 得 证 . 

定理 4.1.2 的 结论 (2) 说 明 广 义 方 向 导数 是 广义 梯度 的 支撑 函数 ,因此 广义 方 
向 导数 与 广义 梯度 之 间 是 相互 唯一 确定 的 . 

定理 4.1.3 B f(z), 9(z) X R” 上 的 局 部 Lipschitz 函数 , 和 为 常数 , 则 有 

(1) 9(Af(x)) = AOf(z); 

(2) (f(x) + g(z)) C Of (x) + 8g(x). 

证 明 (1) 4S ASOWN, A (Af(z))? = Af?(z), 根据 式 (4.1.1) 给 出 的 广义 梯度 
表达 式 以 及 凸 紧 集 与 其 支撑 函数 的 关系 即 得 结论 (1). 对 于 和 < 0 情况 , 只 需 考虑 
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入 = -1. AW €€ afla) 当 且 仅 当 
(—f)°(ajd) > Ed, Vde R”. 
由 定理 4.1.1 的 结论 (3), (一 f°)(z;d) = f°(x; 一 d), FÆ £ € O(-f(x)) ABMS 
f°(x;-d) 2d, vdeR^, 
Bp 
f(z; -a) > (-E*)(-d), Vde R^, 


这 等 价 于 -ee Of (x), 结论 (1) 得 证 . 
(2) 根据 广义 方向 导数 定义 , 计算 得 


f(y + td) + gly + td) ~ f(y) — 9v) 
t 


(f +9)°(z;d) = lim sup 


e let 


td) 一 一 
< lim sup f+ DO = fy) y lim sup SU + #4) = 9) 


tot t-+0t 


= f^(z;d)-g^(z;d) Vd€ R^, 
用 广义 梯度 表示 广义 方向 导数 , 得 


max €Td < max €Td+ max ¿Td 
EEA( F(x) +9(2)) ^ gedf(z) t EDot) 
max ETd, vdeR". 
~ caf (2) +09(e) 


根据 凸 紧 集 与 其 支撑 函数 的 关系 , 即 得 结论 (2). 定理 得 证 . 
定理 4.1.3 可 以 推广 到 一 般 形式 , 设 fi(z),i = 1,2,…,m 是 R^ 上 的 局 部 Lips- 
chitz 函数 , A, i — 1,…,m 为 常数 , WA 


a (È Xf J C M OF (x). (4.1.8) 
i=l i=1 


EH 4.1.4 f(z) X R^ 上 的 局 部 Lipschitz 函数 ,如果 z* 为 f(z) 的 极 大 
(小 ) 值 点 , 则 0 € Of (x*). 

证 明 ”注意 到 O(—f(x)) = —0f(x), 因此 只 需 考虑 极 小 值 情 况 ， 由 于 ct 为 
f(z) 的 极 小 值 点 , 则 有 

f°(x*;d) 20, VdeR" 

(否则 存在 d, c R^, 使 得 f^(z*;di) < 0, 根据 广义 方向 导数 定义 易 见 x* 不 是 f(x) 
的 极 小 值 点 ), 于 是 根据 支撑 函数 的 性 质 有 0 € 8f(z*). 定理 得 证 . 

WE 0 € Of (rc) KA cS f(x) 的 稳定 点 (广义 梯度 形式 下 的 ). 当 f(a) 为 
光滑 函数 时 , 0f (zx) = (Vf(z)), 此 时 0 € 8f(z) 等 价 于 Vf(x) = 
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4.0 可 微 性 和 Lipschitz 函数 的 正则 性 


本 节 首 先 介绍 几 种 经 典 的 可 微 性 及 有 关 性 质 , 然后 介绍 局 部 Lipschitz 函数 的 
正则 性 , 即 广义 方向 导数 与 经 典 方向 导数 相等 . 
4.2.1 可 微 性 

mR R^ 上 函数 f(z) 的 方向 导数 存在 , HFE A e R^, 使 得 f(x;d) = ATd,， 
则 称 f(r) 是 Gâteaux 可 微 的 , A 称 为 f(r) 的 Gâteaux 微分 , 也 称 为 梯度 ， 记 为 
V f(x) = A. 

R^ ERR f(x) Dini 上 、 下 导数 定义 如 下 : 


f(x + td) - f(x) 
t 


" 


fla; d) = lim sup 
t--0* 


fl(z;d)- lim ing £00 + td) - Fe) 


t—0* t 
Sa 5h, 对 于 局 部 Lipschitz 函数 Dini 上 、 下 导数 都 存在 . 如 果 Dini 上 、 下 导数 都 存 
在 且 相 等 , BH 
用 (四 = 及 (id 


则 函数 f(z) 是 方向 可 微 的 , BA 
f'(x;d) = fh (z; d) = f(x; d). 
如 果 xz* 是 f(x) 的 局 部 极 小 值 点 , 则 有 
fb(x’;d) >0, vdeR" 
如 果 对 任意 的 de R^ 都 有 
fld) 0, 
WW z* 是 f(x) 的 严格 局 部 极 小 值 点 . 
R^ 上 函数 f(z) 的 Hadamard 导数 fi,(a;d) 定义 如 下 : 


jh 四 = lim 一 一 一 (4.2.1) 
事实 上 , Hadamard 可 微 就 是 一 致 方向 可 微 , 即 下 式 右 端 极 限 


f(x td) — f(x) 


hs. — i 
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关于 deR” 一 致 成 立 . 

在 有 限 维 空间 中 Hadamard 可 微 等 同 与 Fréchet 可 微 , 在 无 限 维 空间 中 二 者 则 
有 所 区 别 . 

W f(z) AR” 上 的 实 函数 , 如 果 存 在 4 e R", 使 得 下 式 成 立 : 


t 了 H 


且 上 式 左 端 极 限 对 于 任 一 个 紧 集 中 的 d 是 一 致 成 立 的 , 则 称 f(x) 在 x 点 是 严格 可 
微 的 , 4 称 为 其 微分 , 记 为 V f(x) = A. 

命题 4.2.1 R flr) A R ERRAR Lipschitz 函数 , 且 在 > 点 是 Gateaux(Ha- 
damard, 严格 , Fréchet) 可 微 的 , WE Vf(x) € 8f(a). 

WEB) ”根据 可 微 的 定义 , 方向 导数 存在 且 有 记 (z; d) = Vf(x)Td, 于 是 


Vf(z)! d = f(z;d) < f°(z;d), 


再 根据 支撑 函数 与 凸 紧 集 的 关系 , 有 Vfl) e Of (a). 命题 得 证 . 

例 4.2.1 设 f(z) = 2? sin =, 显然 f(z) 是 R 上 的 可 微 函数 , 当然 也 是 局 部 
Lipschitz 的 . 根据 广义 方向 导数 定义 计算 得 f°(0; d) = Jd), 于 是 9f(0) = [-1, 1), 而 
Vf(0) = 0, 广义 梯度 不 是 梯度 形成 的 单 点 集 . 这 一 现象 的 原因 是 f(z) 在 z=0 点 
仅仅 是 可 微 的 , 但 在 xz = 0 点 附近 不 是 连续 可 微 的 , 是 可 微 但 非 光滑 的 . 

定理 4.2.1 Wt f(c) AR” 上 的 局 部 Lipschitz 函数 , WR f(x) YE x 点 是 严 
格 可 微 的 , YA(z) 为 其 梯度 , 则 有 Of (x) = {Vf(z)}; 反 过 来 , 如 果 8f(z) 是 单 点 集 ， 
id 6j(z) = {E}, W f(z) 在 z 点 是 严格 可 微 的 , HA VS (x) =e. 

证 明 ”假设 f(z) 在 x 点 是 严格 可 微 的 , 根据 严格 可 微 及 广义 方向 导数 的 定 
X, 易 见 

f^(z;d)- Vf(z)d. vdeR", 


Of (x) = {V f(x)}. 


假设 9f(z) 是 单 点 集 , id af) = (E), 由 广义 方向 导数 与 广义 梯度 的 关系 
f°(z;d) 为 集合 {E 的 支撑 函数 , 于 是 


f°(a;d)=€"d, Vde R”. 
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经 推导 得 
lim inf f(y * ta) = f(y) _ lim sup f(y) - ic + td) 
Mad | " sup Ut td - ta) — f(y + td) 
= " sup fum Fal (4.2.2) 


toot 


由 式 (4.2.2) 知 极限 
lim fly + a — fly) 


存在 且 与 f?(z;d) FAS, 再 由 f°(zx;d) = tTd 得 


m+ f(y ) = Td, vd c R”. 


taot 


根据 严格 可 微 定 义 , f(z) 是 严格 可 微 的 , 且 梯 度 为 V f(x) = €. 定理 得 证 . 

定理 4.2.2 f(x) 为 及 ”上 的 局 部 Lipschitz 函数 , Of (x) 在 点 x 的 一 个 邻 
域内 每 一 点 均 为 单 点 集 的 充 要 条 件 是 f(x) 在 这 个 邻 域 上 是 连续 可 微 的 . 

证 明 ”充分 性 . 假设 f(z) 是 连续 可 微 的 , 由 后 面 的 广义 梯度 公式 (4.4.1) 易 见 
Of (z) 为 单 点 集 . 

必要 性 . 假设 Of(c) 均 为 单 点 集 , 由 定理 4.2.1, f(z) 是 可 微 的 , BA afe) = 
{Vf(z)}. 注意 到 对 单 点 的 集 值 映射 上 半 连 续 等 价 于 连续 , z 一 afla) 的 上 半 连 续 
保 性 Vf (x) 的 连续 性 . 定理 得 证 . 


4.2.2 ”正则 性 


定义 4.2.1 X f(z) A R^ 上 的 局 部 Lipschitz 函数 , WR f(x) 是 方向 可 微 
的 且 广 义 方向 导数 与 经 典 方 向 导数 相等 , 即 Ptz; d) = f(d), vd € R^, Wl f(x) 称 
为 是 正则 的 . 

定理 4.2.3 ix f(z) AR” 上 的 局 部 Lipschitz HR, 则 有 下 述 结论 : 

(1) 如 果 f(a) 在 x 处 是 严格 可 微 的 , 则 f(x) 在 x 处 是 正则 的 ; 

(2) WR f(z) 是 凸 函 数 , 则 f(z) 是 正则 的 ; 

(3) 如 果 f(z) 在 x 点 是 Gâteaux 可 微 且 正则 的 , WA 8f(z) = (V f(a)). 

证 明 (1) f(x) 是 严格 可 微 的 , 根据 定理 4.2.1, Of (x) = (Vf(x)), 于 是 


Mad) = cetV itz Wat d= VfGY'd 


= f'(x;d), vde R”, 
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AX f(z) 是 正则 的 . 
(2) 由 定义 不 难看 出 , 广义 方向 导数 可 以 表述 为 下 述 形 式 


f° (x; d) = lim sup sup fut td Pan. 
< 一 0+ \ly—2||<e6 0«t«e 


其 中 6 > 0 为 一 固定 常数 . Rn RAE, 一 维 函 数 
f(y 4- td) — f(d) 


是 非 减 的 , T 
f°(x;d) =lim sup fly + ed) — f(y) + ed) — fo) (4.2.3) 
£0 ly - | «có € 
根据 f(x) 的 Lipschitz 性 质 , 对 任意 ye x + B(0, eô), 有 
fused-fG) frted)- fG)| ys (424) 
€ E , _ 


其 中 工 为 f(z) AS Lipschitz 常数 . 联 立 式 (4.2.3) 和 式 (4.2.4) 得 


f(y +ed) — f(y) 


f° (x; d) < lim, + 26L 


= f'(x; d) + 26L. 


注意 到 6 的 任意 性 , 由 上 式 得 f°(z;q) < fd). MHF f'(rd) < f(z;d), 故 
F (z;d) = f'(z; d), f(z) 是 正则 的 . 
(3) 由 假设 条 件 得 


f°(a;d) = f'(z;d) =Vf(z)"d, Vde R^, 


再 根据 支撑 函数 性 质 得 Of (x) = {Vf(z)}. 定理 得 证 . 
推论 4.2.1 1 f(z) 为 R^ LHD, 则 广义 梯度 即 为 凸 函数 的 次 微分 . 
证 明 ”由 定理 42.3, f(z) 是 正则 的 , KA 
Ni ax ¿Td = f^(z;d) = f'(z;d) 


= d, Vd n 
= mex 6 € R^, (4.2.5) 


上 式 右 端 9f(z) 代表 凸 函数 的 次 微分 . BRS BRA, MA (4.2.5) 得 
Ocif (x) = Of (x). 推论 得 证 . 

定理 4.2.4 B fit), fma) A R” 上 的 局 部 Lipschitz BW, A1,---, Am > 
0, 如 果 fi(c) 是 正则 的 , W 》 和 f(z); 也 是 正则 的 . 


i=l 


.72. 第 4 章 局 部 Lipschitz 函数 的 广义 梯度 
证 明 ”利用 已 知 条 件 及 广义 方向 导数 性 质 , 推导 得 


(> A4) e fed) = Y AG 


=》 Ouf)? (2; d)(AA 2; > 0) 


i=1 


>( > A4) (z; dj( 和 函数 的 广义 方向 导数 小 于 广义 方向 导数 的 和 ) 


(Exh) d), 


(Xn) = (soa) (x; d), 
icl ici 


即 函数 ya fi(z) 是 正则 的 . 定理 得 证 . 


定理 4. 2.5 WR filr), fm(z) X R^ 上 的 正则 局 部 Lipschitz 函数 , A1,---, 
Am Z 0, 则 有 


0 (* Mie) = > AO fi(x). (4.2.6) 


WEB] ”根据 定理 42.4, 函数 》 ANa) 是 正则 的 , 于 是 有 


t=1 


(x: M) (a; d) -oO fi) (ad) = y fi(a;d) 
di t=1 
DAS 


i=l 


Ai f, =D, max ¿Td = max  ¿"d, 
af(®) fe}. :8f(2) 
i=l 


由 广义 梯度 定义 知 式 (4.2.6) 成 立 . 定理 得 证 . 


4.3 ”中 值 定理 与 链 锁 法 则 


利用 广义 梯度 也 可 以 得 到 类 似 于 经 典 分 析 中 的 中 值 定理 , 所 不 同 的 是 这 里 的 中 
值 定理 本 质 上 是 一 种 包含 关系 而 非 等 式 关 系 . 
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定理 4.3.1 B f(z) 为 R^ 上 的 局 部 Lipschitz 函数 , AE z,y e R^, WHE 
r, y 连 线 上 的 点 u H € c Of(u), 使 得 


f(y) ~ f(z) = £ (y — 2), (4.3.1) 
结论 (4.3.1) 也 可 以 表述 为 
f(y) - f(z) € odd), (& (y — x)l£ € 8f(z:)). (4.3.2) 


其 中 z, =x + tly- x). 
证 明 ”定义 一 维 函数 


g(t) = f(z + tly — 7)), 
显然 g(t) 是 R 上 的 局 部 Lipschitz 函数 . 首先 证 明 下 式 : 
Og(t) C Of(x+ t(y — z))! (y — x). (4.3.3) 


A (4.3.3) 左 、 右 两 端 均 为 及 上 的 凸 紧 集 , 我 们 考虑 其 对 应 的 支撑 函数 , JERE 
考虑 方向 d = +1, 即 证 明 
max(£d|& € Og(t)} < max{Ed(y — x)|E € Əf(x +t(y 一 IT))}，d= 十 (43.4) 
X (4.3.4) 左 端 为 广义 方向 导数 g^ (6; d), 经 推导 得 
g°(t;d) = lim sup g(s + x) - (s) 


入 一 0 十 


- im sup EEEH) = fe tsiy) 


< lm — sup A t 2G - 2)) - f(y') 


yl satt(y-2) A 
= f(x + tly ~ x); d(y —x)) 
=max{éTd(y —2)|€ € Of(r + t(y—2)), d= 1, 


故 式 (4.3.4) 成 立 . 
下 面 证 明 式 (4.3.1), 定义 (0, 1] 上 的 函数 00) 如 下 : 


A(t) = f(z + tly ~ x)) + t( f(x) — f(y)). 


注意 到 , 9(0) = 9(1) = f(x), 于 是 根据 0(t) 的 连续 性 知 , 存在 t € (0,1), 使 得 9(t) 在 
t 处 达到 极 大 (小 ) 值 , 再 根据 定理 4.1.4 有 0 c 80(t). 计算 6( 的 广义 梯度 得 


80(t) = f(a) — fly) + Of (z+ tly — 2))! (y — 2), 
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于 是 由 0 € 00(t) 及 上 式 得 式 (4.3.2). 定理 得 证 . 

在 光滑 情形 下 , 定理 3.2.1 给 出 的 中 值 定理 就 是 微 积分 中 的 Lagrange 中 值 定 
理 . 

定理 4.3.2 ( 链 锁 法 则 )” 设 glu) 为 Rm 上 的 局 部 Lipschitz AW, F(x) 为 R” 
到 Rm 上 的 局 部 Lipschitz 函数 , 则 复合 函数 f(x) = gF) 的 广义 梯度 满足 


Af (x) C co{O(Y F(z))y € 8g(z)l.-r)- (4.3.5) 


WEBB ”为 证 明 式 (4.3.5), 只 需 证 明 式 (4.3.5) 右 端 集合 的 支撑 函数 大 于 f(x) 的 
广义 方向 导数 , 为 此 只 需 证 明 对 于 给 定 的 deR”, 存在 y € 0g(z) Lei) (GRÉ a 
y € 8g(F(z))) M E € A(T F(z)), 使 得 f^(a;d) < ETa. 根据 广义 方向 导数 定义 , F 
在 yk > 2, th 一 0*, 使 得 


lim f (yk + td) 一 f (yx) 一 f(x, d), 

k-+00 ik 
再 根据 定理 4.3.1 的 广义 梯度 形式 中 值 定理 , 对 每 个 k, 存在 P(gyr) 和 F (yx + ted) 
连 线 上 的 点 ze 和 yn € 69(zx), 使 得 


f(yk + ted) — f(yc) _ 9(F (yr + trd)) — g(F(yx) 
tk ik 
ua F(ys + ted) — F(yx) 
= VE fh . 


注意 到 有 zx 一 F(x), 则 存在 {yx} 的 子 序列 , 不 妨 设 为 {yx} BS, 使 得 wye 
8g(F(z)), 此 y 正 为 我 们 所 需 . 

下 面 证 明 c 的 存在 性 , 根据 广义 梯度 形式 中 值 定理 ， 存在 yk 与 yk + ted 连 线 
上 的 we, & € 9(YTF(z))|s=w, 使 得 


pF (yn + ted) — F(yx) 
Vi. TF — 


— T 
» = d. 


由 于 wk 一 x, 而 序列 (6) 是 有 界 的 , 故 序列 (ea) 也 是 有 界 的 . 我 们 可 选取 {eT a} 
中 的 一 个 收敛 子 列 , 不 妨 记 为 Erd AB, 这 样 eTd 一 ETa, 根据 广义 梯度 的 上 半 
连续 性 , 有 ee 9(yTF(z)). 
综合 以 上 得 
f (yk + a — f(u) _ (WNT F(yk + ad — F(yk) 


_ F (yx + ted) — F (yn) 
= (Yk — nn 
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由 于 F(a) 是 Lipschitz 连续 的 , 所 以 
F(yx + ted) — F(yx) 
tk 
是 有 界 的 , AAT y, y, 于 是 , 取 极 限 得 


f(yk + thd) — f (yk) 


T 
一 上 d. 
tk £ 


f^(z;d)- lim 
k 00, 


上 式 的 & 正 为 我 们 所 求 . 定理 得 证 . 
$ 4.3.1 ”在 定理 4.3.2 Pid F(z) = (及 (7z),…, f (m))T, 则 由 式 (4.3.5) 可 得 


Of (x) C co b> Titiléi € Ohi(x), (ri, Ut Tm) € ren] t 


利用 定理 4.3.2, 我 们 可 以 得 到 两 个 局 部 Lipschitz 函数 乘积 的 广义 梯度 性 质 ， 
设 f(z) 和 g(x) AR” 上 的 局 部 Lipschitz 函数 , WA 
O(f (x)g(x)) C f(x)Og(z) + g(x)0f (z). 
Bj 4.3.1 ”考虑 极 大 值 函 数 


f(x) = max f(x), (4.3.6) 


^ iXi«m 
其 中 每 个 fio) A R” 上 的 局 部 Lipschitz KA. 根据 命题 4.1.1, f(x) 也 是 局 部 
Lipschitz 函数 , 以 下 讨论 f(z) 的 广义 梯度 . 定义 R^. 上 的 函数 g(z) 如 下 : 
g(z) = 9(21， a) Zm) = max{z;ļi =1,--- sm}, 
iu 
F(z) = (fi(z),---, fm(z)), 


这 样 , X (4.3.6) 所 给 出 的 函数 f(x) 可 表示 为 f(x) = o( F(a). 注意 到 , 9(z) 为 线性 
函数 的 极 大 值 函数 , 因此 是 凸 函数 , 根据 推论 3.3.2 得 


8g(z) = 人 >0,》 6-1, WF i£ 1(2), WG oh, 


其 中 T(z) = (ilz = max zn}. 由 于 凸 函数 广义 梯度 即 为 凸 函数 的 次 微分 , 利用 链 
锁 法 则 得 

Of (x) C co(Ofi(x)|i € I(x)}, 
其 中 I(x) = (ilfi(z) = f(z)}. 
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44 广义 梯度 公式 及 广义 Jacobi 


本 节 讨论 向 量 值 局 部 Lipschitz 函数 的 广义 Jacobi. 在 介绍 广义 Jacobi 之 前 我 
们 先 讨论 广义 梯度 的 另外 一 种 表示 . 我 们 知道 局 部 Lipschitz 函数 是 几乎 处 处 可 微 
的 (Rademacher 定理 ), 即 去 掉 一 个 测度 为 零 的 集合 以 外 全 是 可 微 的 . 


4.4.1 广义 梯度 公式 


定理 4.4.1 (广义 梯度 公式 ) BK f(z) A R^ 上 的 局 部 Lipschitz 函数 , 集合 

Q0 c R" WEAF, 记 Qj AR 中 所 有 f(x) 不 可 微 点 组 成 的 集合 , 则 广义 梯度 有 
下 述 表 达 式 : 

Of(z) = cof lim. Vf(zi)zi > z,zi ¢ NUNS}. (4.4.1) 


WEBB A (4.4.1) 右 端的 含意 为 : 对 于 序列 (i), 其 中 每 个 m; 不 属于 QUO, 
而 zi KAF z, Vf(zi) 也 有 极限 . 因为 f(z) 几乎 处 处 可 微 , 所 以 QU O5 是 测度 为 
零 的 集合 , 另 一 方面 , f(z) 的 Lipschitz 性 质 可 保证 在 z 点 附近 VI) AR, 因此 ， 
存在 使 {Vf(zi)} 存在 且 收敛 的 zi, BR (4.4.1) 右 端 是 有 意义 的 , 并 且 是 非 空 的 . 
根据 广义 梯度 的 上 半 连 续 性 及 V file) € OF (xi), 可 知 jim V files) € Of (wi), 于 是 


{lim V fi(z;)]zi — 2,2: £0 U OF} C Of (a). 
再 根据 Of (x) 的 凸 性 , 得 
coflim V f(z;)]z; > a, 21 € QU Mf} C OF (a). 
因此 , 为 证 明 式 (4.4.1), 只 需 证 明 
Of(z) C coflim Vfi(zi)lzi > 2,0; € OU Of}, 
或 等 价 地 , 证 明 f°(x;d) 小 于 式 (4.4.1) 右 端 集合 的 支持 函数 . 因此 , 我 们 只 要 证 明 
f°(x;d) < limsup {V f(y)" dl y > 2, y ¢ QU 0). (4.4.2) 
以 下 证 明 , 对 任意 de R^, Hd 40 和 任意 的 e > 0, 有 
f^(z;d) - e < limsup(Vf(y)'d y > z,y AU 0). (4.4.3) 
WA (4.4.3) 左 端 项 为 o, 由 广义 梯度 的 上 半 连 续 性 及 V f (y) € 8f (y), 可 选取 5 > 0, 


使 得 当 
EXZ 十 如 (0 0 y EQU As, 
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有 
Vf(y)!d € o4 e. 
考虑 线段 
by = {uttdo<e< sa}, 
因为 QUO, 测度 为 零 , 根据 Fubini 定理 ， 几乎 对 所 有 的 ye o p (0 ;) Ly 与 


QUO; 相交 于 一 个 一 维 零 测度 集 . t y 是 具有 此 特征 的 且 在 z+B (0 ;) 内 的 点 


te (o sr.) 由 于 VAO 在 Ly 上 几乎 处 处 可 微 , 则 有 
"2]ladll 

t 

f(y +td) — f(y) -=f V f(y + sd)? dds. 

0 

MAF 
ly--sd—z| «à, W<s<t, 
于 是 
V f(y 4- sd)! d € o 4 e, 

进而 有 


f(y + td) — fly) < ta +e). (4.4.4) 


注意 到 式 (44.4) 对 几乎 所 有 的 ye +B(0， 5) 和 所 有 的 te (0, ai ji) 部 成立 


又 f(z) 是 连续 的 , 故 式 (4.4.4) 对 所 有 的 ye z+B (o ;) 和 所 有 的 te (0 E zia) 


都 成 立 . 根据 广义 方向 导数 定义 , 由 式 (4.4.4) 得 f^ (x; d) < 64e, 即 式 (4.4.3) 成 立 . 
定理 得 证 . | 

公式 (4.4.1) 也 可 作为 广义 梯度 的 等 价 定义 , 该 定义 较 定 义 4.1.2 EXEM, 并 
且 可 应 用 于 广义 梯度 的 具体 计算 . 在 无 限 维 空间 中 则 有 所 不 同 , 此 时 广义 梯度 没有 
式 (4.4.1) 形式 的 表达 式 . 

推论 4.4.1 设 f(z) 为 R" 上 局 部 Lipschitz 函数 , WA 


f°(a;d) = limsup {Vf(y) "al y¢ QU Qs}, 


Rh, 0, 0, 定义 同 定理 4.4.1. 
例 4.4.1 设 
f(z, y) = max{min{z, —y}, y- T}. 
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51 = (o, y)ly €«2z,y € =z}, 


1 
S2 = te y)ly < guy -| ; 


1 


AW 51 US2US3 = R?, A f(z,y) 可 表示 为 


T, (z, y) € Si, 
f(x,y) = 一 2 (x, y) € $5, 
y- zT, (x,y) € Ss. 


注意 到 , RA S1, So, Ss 的 边界 组 成 的 集合 O 测度 为 零 , 而 当 (n y) g QE f(x,y) 
是 可 微 的 , 其 梯度 分 别 是 (1,0), (0, 一 1), (1,1), FÆ, 根据 定理 4.4.1 得 


Of (0, 0) = co{(1,0), (0, —1), (-1, 1)}. 


4.4.0 广义 Jacobi 


设 F(z) 为 R^ 到 Rm 上 的 D, 局 部 Lipschitz 函数 , 记 F(x) = (fila), >, 
Ín(z))T, 其 中 每 个 f(z) XR” 上 的 局 部 Lipschitz 函数 . 根据 Rademacher 定理 ， 
每 个 f:(z) 是 几乎 处 处 可 微 的 , 因此 , F(z) 也 是 几乎 处 处 可 微 的 , 即 JF(z) 几乎 处 
处 存在 . 借用 这 一 事实 , 我 们 可 将 广义 梯度 概念 推广 到 向 量 值 函数 , 采用 的 是 定理 
4.4.1 给 出 的 广义 梯度 公式 , 而 不 是 利用 广义 方向 导数 . 

定义 4.4.1 W F(z) =(filz),---,fm(x)), 其 中 fm), i=1,---,m AR” 上 
的 局 部 Lipschitz 函数 , 记 QF 为 F(z) 不 可 微 点 形成 的 集合 , 广义 Jacobi OF (xr) 定 
义 如 下 : 

OF (x) = coflim .JE(zijlzi > z, Ti ¢ Op). (4.5.5) 
广义 Jacobi 通常 也 称 为 Clarke 广义 Jacobi, 从 定义 可 以 看 出 , 广义 Jacobi Jy 
m x n MEETER ANE. 

下 述 定理 给 出 了 广义 Jacobi 的 一 些 性 质 . 

定理 4.4.2 Kh F(z) 为 R^ 到 R” 上 的 局 部 Lipschitz 函数 , 记 F(x) = 
(有 (2),…, fm(z)), 则 有 

(1) OF (a) 是 Rmx" 空间 中 的 凸 紧 集 ; 

(2) 集 值 映射 > 一 9F(z) 是 上 半 连 续 的 , 即 对 给 定 > ER", 对 任意 € > 0, 存在 
6 > 0, 使 得 下 式 成 立 : 


OF(y) C OF(z) +eBmxn(0,1), Vy € zc eB (0,1), 
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其 中 Bmxn(0,1) 为 R” 空间 中 的 单位 球 ; 

(3) 记 Li A file) dE x 点 附近 的 Lipschitz 常数 , W L = |\(Li,---,Lm)l| 为 
F(x) 在 z 点 附近 的 Lipschitz 常数 , AA 9F(z) C LBmxn(0, 1); 

(4) OF (x) C 8fi(z) x x Ofm(z). 

证 明 类 似 于 广义 梯度 相应 的 结论 , 故 从 略 . 

SK (44.5) 中 的 广义 Jacobi 中 去 掉 凸 包 ， 则 相应 的 微分 称 为 B AD, WA 
Op F(x), 即 

Og F(x) = {lim JF (a,)|a; > z, z; € OF}. 


显然 , B 微分 不 再 是 凸 集 , 但 它 还 满足 上 半 连 续 等 性 质 . 


4.5 极 大 值 函数 广义 Jacobi 的 计算 


本 节 给 出 计算 有 限 个 光滑 函数 极 大 值 的 广义 Jacobi 的 方法 . 
4.5.1 “一般 形式 极 大 值 函数 


考虑 向 量 形 式 的 极 大 值 函 数 ， 
F(x) = (max frj(2), o max fmj(x))*, (4.5.1) 


其 中 ,i = 1,…,m 是 有 限 的 指标 集 ， fij(z) j € Ji i= 1,…,m 是 及 ”上 连续 可 
微 函 数 . 我 们 将 讨论 计算 函数 Fr) 在 一 点 x 处 的 B 微分 和 Clarke 广义 Jacobi 中 
的 一 个 元 素 . 为 此 , 假设 f(x) 及 Vfa(x) je ,i= 1,…,m 的 值 是 可 计算 的 . 

引 理 4.5.1 4 A(z) = maxier hilz), 其 中 hi(z) 为 R^ 上 的 连续 可 微 函数 ,I 
是 个 有 限 的 指标 集 . 记 

I(x) = (i € Thi(x) = h(z)], 
那么 nz) TE x 点 可 微 的 充 要 条 件 是 
. Vhi(x) = Vhj(x), Vi,j € I(z). 


特别 地 , 如 果 (r) 只 包含 一 个 元 素 , 记 I(x) = {io}, 那么 h(z) YE z 点 可 微 且 有 
Vh(z) = Vha (2). 

引 理 4.5.0. V 4 Jé m x n MER, 那么 线性 不 等 式 系统 Ay < Oy € R” 的 
解 集 是 R^ 中 的 一 个 开 凸 锥 . 

引 理 4.5.3 ”假设 a; e R”, i e 1, 了 是 有 限 指标 集 且 满足 oj zak,VvVi,k ELIA 
k, 如 果 令 ip € IT WHE [aul = max | lai], Wl FARRA: 
J aig, Vic IW]. 


T 
Qj Qio « Gio 
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fi(z) = max fi;(z), t=1,---,m, 
j€Ji 
Ble) = {j € JAlfu(z) = fi(z)}, i=1,.…,m, 
显然 fil) 是 方向 可 微 的 , 其 方向 导数 为 


fi(z;y) = max f5(zy) VyeR", i=1,---,m. 


j€Ji(z) 
基于 指标 集 .有 (zx), 引入 指标 集 J; (2), i = 1,…,m, 满足 下 述 条 件 : 
Ji(z) c Ji(zr) t=1,---,m, 
V fig (2) z Vfix(z), Vj,k € Ji(z), j £k, i= 1, m. 
对 任意 t; € Ji(z), 存在 ki € Ji(x), 使 得 


V fiti (£) = V fis, (£), i=], e,m. 


(4.5.2a) 


(4.5.2b) 


(4.5.3) 


(4.5.4a) 


(4.5.4b) 


(4.5.4c) 


显然 , 指标 集 Ji (m) 是 la) 的 一 个 子 集 , 事实 上 , 可 以 通过 删除 指标 集 (zx) 中 对 


应 满足 Vfij(z) = V falt) 的 多 余 指 标 而 得 到 . 易 见 , fi(z;y) 可 以 表示 为 


fi(z;y) = max V fa (x)! y, Vy € R^, i=1,---,m. 
GES; (x) 


(4.5.5) 


显然 , 对 于 固定 点 z €. R”, fim) 是 分 片 光滑 函数 , 特别 是 分 片 仿 射 函数 ,因此 也 


是 局 部 Lipschitz 的 . 根据 分 片 光滑 函数 性 质 , 下 述 关系 式 成 立 : 
OpF'(z;y)|y-o C Op F(z), 


其 中 
F'(z;y) = Gi(ziy) s fum. 


给 出 指标 集 j; € ilahi = 1,…,m, 构造 下 列 线性 不 等 式 系统 : 


Lirim (E) (Vfir (2) - Vfi;(x))y <0, y €R?, 
Vki € Ji(z) GO, i= 1,---,m, 


或 记 为 


(4.5.6) 


Liz) (VS ies (2) — Vii, (2) Ty <0, ye R™, Vk € A(z) MAL 
(V fora (x) — Vfaj.(2))Ty «0, — y € R^, Vk € Jo(z)\{jo}, 


(V fmk,, (x) 一 Vi mim (z))Ty «0, yc R^, Vk, € Jm (x) V jm}. 
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容易 看 出 , 系统 Li inle) FH n 个 变量 和 m 个 严格 线性 不 等 式 组 . 
定理 4.5.1 ”假设 存在 指标 集 j; € 五 (z),… jm € jm(z), 使 得 它们 对 应 的 线 
性 不 等 式 系统 Lj, nle) 是 相 容 (有 解 ) 的 , 那么 


I (fig, (z), ttt mim (x))T € Op F(x). 
证 明 GER” 为 系统 工 ;,,…;,, (7) 的 解 , 那么 有 


Vite. (558) =V fir (2) 9 < Vfi (7) 79 
«fa (mg), Vk € (s) Mj] do l,m. (4.5.7) 


于 是 , 当 入 > 0 时 , 有 
Fin (5M) < fü (M), Vk € A(z) MA) i=1, m. (4.5.8) 
由 式 (4.5.5) 和 式 (4.5.8) 及 引 理 4.5.1, 在 射线 y = Ag, > 0 LA 
Vy fila; y)lu-og = Vy(fis (2)! Y) lya = V fiz (2). 
而 每 一 个 Fila) 都 是 可 微 的 , 由 前 面 所 述 及 B 微分 的 定义 , 直接 推导 得 
im JJP'(z;y)ly-ag 
= lim. (Vy fi (0s y)ly=rgs Vyf (luos) 
= lim (V fag, (7), V fms, (@))* 


=JS (fiz, (zx), tta 万 (2))T 
€ Og F" (z; y)|y—o- 


由 式 (4.5.6) 和 式 (4.5.9) 得 


E = Jl fij (x), Ut , fmin (£) € Op F(z). 


(4.5.9) 


定理 得 证 . 
由 定理 4.5.1 知 , 计算 OpF(c) 的 元 素 可 以 转化 为 寻找 指标 集 


ji € Jy (z), UU Jm € Jm (x), 
使 得 它 所 对 应 的 系统 Ls (x) 是 相 容 的 . 事实 上 , 如 果 对 每 一 组 指标 
ji € Si(2), jm € Jn(z) 


确定 系统 Lj, (zx) 的 相 容 性 , 则 至 少 可 以 找到 一 个 相 容 的 系统 . 
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4.5.2 ”线性 函数 的 极 大 值 


对 于 一 般 形式 极 大 值 水 数 , 我 们 只 能 计算 到 B 微分 中 的 一 个 元 素 , 以 下 考虑 特 
殊 情 况 , 即 fi;(z) 为 线性 函数 , 我 们 将 给 出 其 B 微分 集合 的 表达 式 . 在 式 (4.5.1) 中 
假设 


fi(7) = aj + biz, j Edi, i= 1, m, 


其 中 aj € R^, b; e RL 首先 给 出 集合 OpF (x) 的 表达 式 , 见 下 面 的 式 (4.5.12), 这 
FE, 可 以 通过 确定 几 个 线性 不 等 式 系统 的 相 容 性 来 计算 集合 Op F(x). 给 定 一 个 点 
ZER", 存在 6 > 0, 使 得 


Ji(z') C Ji(x), Va’ € B(x,ô), 
那么 B(x,6) 中 的 Filz) i = 1,…,m 可 以 写成 


fia!) = jmax fg(z) vVz'eB(mó), i=1,---,m. (4.5.10) 


既然 fule) j € Ji, i = 1,…,m 本 身 是 线性 的 , 不 难看 出 , 在 B(x,6) P, fi(), 
i=1,----m 可 以 表示 为 


filz’) = max fij (z^), Val € Bia, 6), i=l, m. (4.5.11) 


定理 4.5.2 WU fij(z), jE Ji i=1,---,m 为 线性 函数 , 那么 


OpF (x) ={I (fig. (2), fmi (7)) T Lajm (@) 相 容 ， 
jr € Av), ,jm € Im(2)}. (4.5.12) 


WEB] ”利用 定理 4.5.1 证 明 式 (4.5.12). BE € € OpgF(z), 由 B 微分 的 定 
L, 存在 一 个 序列 {an}, 使 得 zn — x, tn € B(z,0), F(z) 在 点 x, 可 微 并 且 
JF (an) > €. 注意 到 f(zx) 的 表达 式 (4.5.11) 及 


Vfag(z)*Vfa(r) Vike T(t), g AR, t=1,---,m, 
由 引 理 4.5.1, 存在 指标 Jalan) € Jia), jm (2a) € Jm (4), 使 得 
JF (an) = J (Sij (en) (En) fms eo (Ln) >E, Tn > v. (4.5.13) 
BEAR V fi; (z) 是 常数 且 


Vfüg(r)z Vfa(r)) VjikeJi(r, GAR, t=1,---,m, 
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则 存在 一 组 指标 


A(x) € JA (x), UU ,Jm(Z) € Jm(z) 


及 整数 N, 使 得 
Ji = ji (En), jm = jm(En), Vn 2 N, 


也 就 是 说 , 存在 一 个 序列 {an}, 使 得 F(z) 在 点 on 是 可 微 的 , BA 
JF (tn) = J(fij s Yn) s fnjn (sa) (En) , Vn > N. 
因此 , 结合 引 理 4.5.1 有 
fik:(@n) < fij(Tn), Vki € J(z)Mji, i=1, om, n>N, (4.5.14) 
即 
Op, Tn + dik, < ap Tn + bij,, Yki € (x) Ni i=1,.,m, n2 N. (45.15) 


注意 到 


Giz, En 十 bik, = ays, Tn + bij,, Vki € Baji} i=l, m. (4.5.16) 
由 式 (4.5.15) 和 式 (4.5.16) 得 
Q (Ln —-z)« ap. (tn — 72), Vki€ A(zr Mj) i= 1,...,m, (4.5.17) 


Bp 
V fiki (£)! (z.-z)«Vfg(z)(x,-z) Vk € A(rMdAhB 2 =1,---,m. (4.5.18) 
这 意味 着 jim zn = 2 是 D5, jm (c) 的 解 , 因此 式 (4.5.12) 成 立 . 定理 得 证 . 
基于 定理 4.5.2, 当 fyl) 是 线性 函数 时 , 我 们 通过 确定 系统 Lj (x) 的 相 
容 性 来 计算 其 B 微分 集合 Op F(z). 由 下 面 的 命题 我 们 知道 , 确定 一 个 线性 不 等 式 
系统 的 相 容 性 可 以 转 为 求 一 个 互补 线性 规划 , 因此 , 计算 集合 Op F(x) 是 可 实现 的 . 
命题 4.5.1. 9 4 为 一 个 m xn 和 矩阵. 线性 系统 Ay < 0,y c R^ 是 相 容 的 当 
且 仅 当 线性 规划 问题 
min So ay, 
j=) 
s.t. Alp+(z1,°++,2n)? 2 0, 


m 
Sop =1, pi 2 0, a=1,---,m, 2; 20, J=l1,---,n 
i=1 


的 目标 函数 最 小 值 不 为 零 , 其 中 p p 的 第 i 个 元 素 . 
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4.5.3 BARKER 


考虑 下 述 形 式 的 极 大 值 复合 函数 
G(z) = g(max fi;(z),-- , max fmj(z)), (4.5.19) 
JES, jEJm 


其 中 fu(zr)j € Jri — 1,…,m fI g(z) 分 别 是 R^ 和 R” 上 的 连续 可 微 函 数 ， 
Jii lem 为 有 限 指标 集 ， 显 然 , G(z) 可 以 写成 G(r) = G(F(x)) F(x) 的 
表达 式 见 (4.5.1)， 利 用 前 面 的 方法 , 基于 B 微分 的 链 锁 法 则 , 我 们 可 以 通过 计算 
Op F(z) 的 元 素来 计算 G(z) 的 B 微分 元 素 . 事实 上 , WE (fiz, (m) fni (2))T 
是 OpF (x) 的 一 个 元 素 , 那么 Vo(faj (z),…, fmi, (7z)) 是 0pG(z) 的 一 个 元 素 , 也 
是 广义 梯度 9G(z) 的 一 个 元 素 . 

我 们 也 可 以 计算 由 极 大 值 复合 函数 组 成 的 向 量 函 数 的 B 微分 元 素 . 考虑 函数 


G(x) = (Gi(a),---,Gp(x))”, 
其 中 


Gy (x) = gk( max fijk(7), Utt ,max fmjk(£)), k= 1, “yD, 
je^. jEJmk 


gx(z) 和 fij (z) 是 连续 可 微 函数 , 每 个 .i 是 一 个 有 限 指标 集 . 通过 使 用 链 锁 法 则 
和 计算 下 列 向 量 值 函数 的 B 微分 元 素来 得 到 函数 G(z) 的 B 微分 中 的 元 素 


(x) (max fi (z), » max fmj(z), max frjp(z), » pax fmip(x)) 


如 果 
Jia) s fms) s Faso) f misss(0)). € OBH (2), 
那么 
JGn (iss (2) femina (2) ofi (n). fis up (2)))7 € OG (a) 


是 OpG(z) 的 一 个 元 素 . 
本 节 的 方法 可 应 用 于 以 下 序 补 问 题 (OCP) 的 牛顿 法 ,， 序 补 问题 是 找 出 一 个 
z*cR?, 使 得 
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其 中 Fi(z), j= 1,…,m 是 连续 可 微 的 , F(z) 是 Fi(z) 的 第 i 个 元 素 . 众所周知 ， 
序 补 问题 等 价 于 求 非 光滑 方程 组 


max (—F?(z)) — 0 (4.5.20) 


1<j<m 
的 解 . 求解 方程 组 (4.5.20) 的 牛顿 法 中 , 在 每 异步 迭代 点 处 需要 计算 函数 


max (-F/(z)) - 


1<jxm 


的 B 微分 中 一 个 元 素 . 


第 5 章 。 拟 可 微 函 数 及 拟 微分 
拟 可 微 函数 是 由 Demyanov 和 Rubinov 于 20 世纪 70 年 代 末 引入 的 一 类 非 光 


滑 函 数 . 拟 可 微 函 数 这 一 术语 最 早 由 Pschenichny 提出 ， Demyanov 等 借用 了 这 一 
术语 , Demyanov 的 拟 可 微 函数 也 是 对 Pschenichny 相应 拟 可 微 函数 的 推广 . 


5.1 ” 拟 微 分 的 定义 及 有 关 性 质 


定义 5.1.1 BW f(z) 为 R^ 上 的 函数 , WR f(z) 是 方向 可 微 的 , 且 存 在 一 对 
PR Of (x), 6f(z) CR”, 使 得 其 方向 导数 可 表示 为 下 述 形式 : 


f'(a,d) = ax u Td + + amin vd, Vd c R^, (5.1.1) 
JURE f(x) 为 拟 可 微 函 数 . 集合 对 Df (x) = [9f (x), 0f(z)) WH f(x) 在 > 点 处 的 拟 


微分 , OF (x) 和 Of (2) 分 别称 为 次 微分 和 超 微 分 . 如 果 Of (x) = {0}, WER f(z) 是 次 
可 微 的 , 如 果 Of (x) = (0), 则 称 f(x) 是 超 可 微 的 . 
从 定义 看 出 , 拟 可 微 函 数 方向 导数 表示 为 两 个 凸 紧 集 支撑 函数 的 差 , 事实 上 由 
X (5.1.1) 易 见 ,方向 导数 可 以 表述 为 
7 — T T 
f'(z, d) = max u d— NI NU d 
= 6*(d|Of(x)) — 6*(d| — Of(z), VdeR». 


显然 , 凸 函数 f (n). 是 拟 可 微 函 数 , 它 的 拟 微 分 为 [8f(zx), {0}], 此 处 8 代表 凸 函 
数 的 次 微分 , 因此 凸 函数 也 是 次 可 微 函 数 . 
两 个 凸 函数 的 差 是 拟 可 微 函 数 . 设 f(x) = g(x) — h(x), 其 中 g(x) 和 hla) 为 
R” EAR, 易 见 , (zx) 的 方向 导数 可 以 表示 为 
f(a) amm ud — em ax ond 


= max uľd+ min vid, 
ucóg(z) v€—ÓOh(x) 


于 是 f(x) 是 拟 可 微 函数 , [8g(z), -Oh(x)] 为 其 拟 微分 , 其 中 8 代表 凸 函数 的 次 微 
分 . 


51 拟 微 分 的 定义 及 有 关 性 质 


为 讨论 拟 微分 的 链 锁 法 则 , 我 们 规定 R^ 空间 中 集合 对 的 加 法 和 数 乘 运算 如 


F: 
(Ui, Vi] * (Us, Va] = 
可 = | [AU, AV], 


[AV, AU], 


定理 5.1.1 
Al fi(z)fa(z) 也 是 拟 可 微 的 , BA 


[Ui + Uo, Vi + Va], 
A20, 
À « 0. 


(1) B fi(z) 和 fo(z) 为 及 "上 的 拟 可 微 函 数 , 则 函数 f(x) + falx) 


D(fi(z) + fo(x)) = Dfi(z) + Dfa(z), 


D(fi(z)fa(z)) 
即 
(fi 
(fi 


x) + fo(z)) 


acf 
(faz) + fa(z)) 


fi(z)8fa(z) + fa(z)8fi(a), 


(filz = 
Ahle) fale) fi(x)Ofo(x) + fa(z)8 fi(z), 
fi(x)Ofo(x) + fo(x)Ofi(z), 
fi (x)8 fale) + fo(x)Ofi(a), 
TC o | SORO + BENG 


fi(z)Ofo(x) + fa(z)8 fi(x), 


filx)Ofo(x) + fa(z)8 fi(z), 
(2) W f(x) 是 拟 可 微 函 数 , WATER ROD, 函数 和 f(z) 也 是 拟 可 微 的 , AA 


DAF (x)) = ADF (z), 


= fi(z)Dfo(x) + fa(x)Dfi(z), 


= Of: (x) + Ofo(z), 
= Ofi(z) + Of2(7), 


filaa falz) + fa(x)8 f(x), 


filz) 2 0, fe(x) 
fi(z) <0, falz) 
fi(z) <0, fa(z) 


IN INN NW 
2o90 o 


( ) 
fi(z) 2 0, fe(x) > 0, 
fi(z) <0, fa(z) 2 0, 
fi(z) <0, f(x) < 0, 
fi(z) 2 0, falz) < 0. 


Bp 
— f 38f(z), A20, 
902) = | AIF (x), A«0, 
5 _ AOf(z), ^20, 
OS) = | Mf(z), A«0. 
(3) W f(x) 是 拟 可 微 函 数 , H f(x) #0, 则 函数 —— iw 也 是 拟 可 微 的 , 其 拟 微分 
为 


P (75) * "p 


即 
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25) - d fe) 


ô Col Fee 


证 明 ”由 方向 导数 的 性 质 , 函数 户 (z) + fo (o), fila) fa (2), 和 f(z) 和 a RJ 
疝 可 微 的 , 且 方 向 导数 为 
(fi f2) (x, d) = fi(z; d) + fa(as d), (5.1.4) 
(fa > fa) (z,d) = fi(a)fa(z; d) + fo(x) fi (a; d), (5.1.5) 
(AJY (ad) = Af’ (x; d), (5.1.6) 
1\' 1 ogí 


根据 拟 可 微 函数 定义 ， 利用 所 机 分 表示 方向 导数 代入 式 (5.1.4)~(5.1.7) 得 


(fi + fa) (aid) = 


(fa + fo) (x; d) 


max uld+ min vid+ max uTd+ min vid 


ue€dfi (x) vedfi (xr) uc f(z) veð fe(x) 


Tq mi vId 


= max udt _ m 
uwEOf (x)+Of2(x) v€8fi(z)4-Ófz(z) 


= fi(z)( max ufd- min v *) + f(zYC max u'd+ min vd) 


u€ fo(z) ve dfo(z) Eð fils) v€8fi(z) 
max uld4 . min vd, fi(£) 20, fa(£)20, 
u€ fi(z)8fa(z)9 fa(zx)8fi(v) v€fi(z)8fa(z)-f2(z)8fi(o) 
. max ud 十 min vid, fi(z)«0, fo(x) 20, 
— J véhi(2)Ofe(z)+ falx)af (x) ve fi(z)8f2(z)-- fa(z)0 fs (x) 
| max _ uld4 min vd, fi (zx) <0, fo(x) <0, 
uEfi(z)Ofe(x)+ fa(x)Ofi (x) vE fi (x)Ofe(x)+fa(x)Ofi (z) 
max wid + , min vTd, fi(z)20, fa(z) <0, 
u€ fi(z)8fa(z)9- fo(x)Ofi (x) v€fi(z)Ófa(z)- fa(x)Ofi (x) 
Af) (2;d) =A( max uld+ min vtd 
APY (Ed) X max im ) 
max uld-- min vid, A20, 
uErAO f(z) vEAOf (7) 
max uld+ min v'd, <0, 
u€AÓf (x) vEAOf (x) 


1V 1 
—) (z;d) =-——~( max u'd- min vd 
G ) (2i d) f?(z) ms ved f(z) ) 


= max — uld+ min vTd. 
u€- 355 0f (x) v€— yr 5 OF (7) 


5.1 PRONE XRAKER . 89. 


根据 拟 微分 定义 和 式 (5.1.4) (8.1.7), BR (5.1.2) 和 式 (5.1.3). 定理 得 证 . 
利用 定理 5.1.1 还 可 以 得 到 下 面 的 拟 微分 运算 法 则 : 


D(fi(z) — fa(z)) = Dfi(z) ~ Dfa(z), 


AG. 1 (on pts 
p(t) ~ go VA )Dfi(z) — fi(z) Dfa(z)). 
定理 5.1.2 设 fi(x), a=1,---,m 为 R^ 上 的 方向 可 微 函 数 ， 则 函数 f(a) _ 


max fic) 也 是 方向 可 微 的 , 且 方 向 导数 为 
f'(a;d) = imax frd, deR”, (5.1.8) 


其 中 
I(z) = {1 <i<mlfi(z) = f(z)). 


证 明 ”对 固定 的 Ze R^, 根据 f(x) 的 方向 可 微 性 有 


filz + td) = filz) + tf{(x; d) + oi(t), (5.1.9) 

24 t 充分 小 时 

fila + td) < fr+td), Vie {1,---,m}\I(2), 
故 

f(z +td) = max fi(z+td) = max fii d). (5.1.10) 
结合 式 (5.1.9) MA (5.1.10) 得 

f(z + td) — f(z) = max (tf (3 d) + oi(t)), 

于 是 


f(z + td) - f(x) - t max f(a; d) = o(t), 


上 式 两 边 除 以 t, 并 令 上 一 0, 即 得 式 (5.1.8). 定理 得 证 . 
定理 5.1.3 B filz) i =1,…,m 为 Rn 上 的 拟 可 微 函数 , 则 它们 的 极 大 值 
函数 f(x) = pax Sile) 也 是 拟 可 微 的 , 其 拟 微分 [8f(z), Of (x) 为 


Of(xz)=c f(x) — Of: ， 
四 =o Y (anto P fi) 
óf()- Y. 8f), 


iel(z) 
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其 中 
I(x) = {1 < i < m|fi(z) = f(x). 
WEB] ”f(z) 是 拟 可 微 的 , 简 记 其 拟 微 分 [0f(z), 6fi(z)] A Ofi(x) = A, Of: (x) = 
Bi. 不 失 一 般 性 , 假设 T(x) = {1,…,m}. 根据 定理 5.1.2, f(z) 是 方向 可 微 的 , 其 方 
向 导数 为 


= T n. .1.11 
f'(zx,d)- ax (max u* d+ min v d, dcR (5 ) 


首先 讨论 m = 2 情形 . W abc d, r 是 实数 , AA 

max{a + b,c + d} = max{a +b- r,c+d-r}+r, 
Rr=b+d, WA 

max{a + b, c +d} = max(a — d,c — b) + (b + d). 
于 是 , 由 式 (5.1.11) 得 
Hp = max(max utd + min vTd) 
i=1,2 ue A; v€ Bi 
— max 4 max ud — min vd, max ud — min vta} 


uCcA| ve Ba UE Aa v€Bi 
+ min uTd + min vd. (5.1.12) 


ue By v€B3 


式 (5.1.12) 可 变形 为 
Ha =max{ max td max v'd, maxu!d+ max vta} 
cA ve~ B u€ Az v€ Bi 


+ min uTd + min vTd 
uEB! v€ B3 


—max4 max ud, max uld»- min vd, 
uc€Ai1— B3 u€A2— Bi v€ Bi B2 
注意 到 
max4maxuld, maxu'd$ = max ud, 
ucA ucB u€co( AUB} 
TR 


= max uld+ min v'd. 
uéco{(Ai—Bz2)U(A2—Bi)} vEBi+B2 


当 m = 1 时 , 假设 定理 结论 成 立 , 即 


H, = max [ max ul d + min v Tq|- max ul d + min v! d, 
1«ixl Nu€Ai vEB; ucU vEV 
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其 中 
-e[A.- 5 B sisi). 
1€i«l 
ik 
l 
V= B. 
i=1 
FRA 
Aig, = ax, (max urd+ min sta) 
il ued EB; 


=max ¢ Hi, max u Td+ min vTd 
uc A, vcB 


t+1 


=max {may utd + min vTd 十 max uld- min i. (5.1.13) 
U u€ Ai ve Birt 


记 Ais = max ud min v' d, 利用 前 面 的 方法 , BA (5.1.13) 得 


A=co {U — Bi, Aly — Vi 
=cof 4, — > Bylk=1,---,04+ i}, 
i<i<i41 
ik 
[+1 
B=V+ Bini = 》 Bi 


定理 得 证 . 
设 fi(z) 为 拟 可 微 函数 , 则 


f(z) = min fi(z) 


lgigm 


也 是 拟 可 微 的 , 其 拟 微 分 [OF (2), Sf (2)] 为 
8f(s) = Y; 8f) 


i€I (x) 


f(z) = cof Bfe(e) 一 »» Ofi(x)|k € ra). 
icI(z)N(k) 
其 中 
I(z) = (1 < i < m|fi(z) = f(z)}. 
注意 到 
n filz) =- max (-fi(z)), 


mi 
lgigm 1<i¢ 
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由 定理 5.1.3 即 可 得 到 上 述 公式 . 
定理 5.1.4 X f(y) AR” 上 的 拟 可 微 函 数 ， 且 一 致 方向 可 微 , h(z)i = 
1,…,m 为 R^ 上 的 拟 可 微 函 数 , 则 复合 函数 
F(x) = f(hi(z),---; hm(z)) 
是 拟 可 微 的 , 其 拟 微分 [BF(z)，5F(z)] 为 
ar(z) = 地 = Y (u Qu + mi) — u9 X; — BO xs), = (UD), ---, u 9) € 8f(y), 
i=l 
À; € Ohi (2), pi € ZI 
OF (x) = tu - Y (u9 Qi + ui) + UA; + UO ui), u = (UM, ---,ul™) € 8f(y), 
?一 1 
X € Ohi(z), 1 € ana), 
其 中 , u = (u, u) RI à = (u(0,...,u9) 是 满足 下 式 
uu Vu € Of (y)U(-Óf(y)) 


的 任意 向 量 . 

定理 证 明 可 参考 Demyanov 和 Rubinov 的 专著 , 这 里 从 略 . 

以 上 定理 说 明 , 拟 可 微 性 质 关 于 四 则 运算 、 极 大 (小 ) 值 运算 以 及 复合 运算 是 
封闭 的 . 


5.2. ” 拟 可 微 函 数 类 及 有 关 性 质 

拟 可 微 函 数 是 一 类 非常 广 的 非 光滑 函数 , 其 中 极 大 值 函数 及 其 复合 是 最 适合 利 
用 拟 微分 工具 来 处 理 的 . 
5.2.1 ” 极 大 值 复合 函数 

设 

jz) = g (max fis(2), max fmj{x)), 2ER”, (5.2.1) 

其 中 g(y1,… Ym) 和 fule) 分 别 为 R” AR” 上 的 连续 可 微 函 数 , ,i = 1,---,m 
为 有 限 指标 集 . 由 定理 5.1.3 和 定理 5.1.4 可 知 f(z) 为 拟 可 微 函 数 , 以 下 利用 定义 
直接 推导 f(x) 的 拟 微分 . 记 


yi(z) = max falz) rz ER", i=1,.…,m, 
IEF; 


5.2” 拟 可 微 函 数 类 及 有 关 性 质 


对 于 de Rr",t>0, 有 
yi(z + td) = yi(z) + tyj(z; d) + oi(t, d), 
yi(z;d) = max Vfu(z z) d, i-1,,m, 


其 中 
hlæ) = {9 € Ll fale) = w(z)). 


由 o;(t, d)/t > 0 f& 


f(z td) = f(x) + (> PT ate) ya; 2) + o(t, d). 


i=1 


由 式 (5.2.2) 得 
f(a +td) =f (a) +t( 5 


+ D min (or od) 


icI (x) 


于 是 
f'(a;d) = 


根据 拟 微分 的 定义 , f(z) KK [Of (x), Ifa) 为 
Of(z) =coA(x), f(x) = coB(z), 
其 中 


Ate)={ue R^|u 


OY; 


ic I, (z) 


B(x) = fe ER” 


i€I (a) Yi 


ax OM Uo p (gra 


- y El sty ejna jena} 


v= y PE Wy adj e na). 


. 93 . 


(5.2.2) 


- 94- 第 5 章 拟 可 微 函 数 及 拟 微分 


根据 上 面 例子 可 以 看 出 , 函数 
f(z) = max f: (x) + min gs (x) 
是 拟 可 微 的 , 其 中 f(z), i € I, gile), j € J 为 连续 可 微 函 数 , 7, J 为 有 限 指标 集 , 其 
拟 微分 [8f (x), Of (2)] 为 
Of (x)= co{Vfi(x) |i € I (7)}, 
OF (x) = co{ Vg; (z) lj € 7 (z)}, 
其 中 


i) fi e 1] fice) = max fle) E. 


J (2)= {i € J os = mings) I 


5.2.2 ”一 维 函 数 
命题 5.2.1 3€ f(x) 为 及 上 的 函数 , f(z) 在 点 > 是 拟 可 微 的 充 要 条 件 是 f (m) 
在 点 x 是 方向 可 微 的 . 
证 明 “只 需 考虑 充分 性 . 设 f(zx) 在 点 x 是 方向 可 微 的 , > 
a; = min{ f'(z; 1), —f'(z; -1)}, 
ag = max{ f'(x; 1), — f'(z; -1)), 
b= max{0, — f'(z; 1) ~ f'(z; -1)), 
A- lai, azl, B= [—5, b]. 
利用 定义 可 以 验证 [A, B] 为 f(x) 在 点 xz 的 拟 微分 , 事实 上 
max ud + min ud = ad — bd = f'(z;d), d 20, 


max ud+ min vd = aid + bd = f'(z;d), d<0. 
ucA vEB 


命题 得 证 . 
根据 命题 5.2.1, 我 们 给 出 一 个 拟 可 微 函 数 而 非 局 部 Lipschitz BARKAT. 设 


f(a) = zd sin 2, z 60, 
T, rz «O0. 
可 以 验证 , f(z) 在 及 上 是 方向 可 微 的 , 根据 命题 5.2.1, 它 是 拟 可 微 的 , 但 f(x) 在 
x = 0 附近 不 是 Lipschitz 的 . 事实 上 , 拟 可 微 函 数 与 局 部 Lipschitz 函数 是 两 类 互 
不 包含 的 不 可 微 函 数 . 
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5.2.3 ” 极 值 条 件 
定理 5.2.1 Wt f(z) X R” 上 的 拟 可 微 函 数 , WER f(z) 在 z* CR” 处 达到 极 
小 值 , WA 
-Of(7*) C Of (x*). (5.2.3) 


WEBB ”因为 f(z) 是 方向 可 微 的 , z* 是 极 小 值 点 , 则 有 
f'(x;d) 20, vdeR", (5.2.4) 


若 不 然 , 则 存在 dy € R^, 使 得 f'(z*;di) < 0, 根据 方向 导数 定义 , 当 t > 0 充分 小 
时 

f(a" + tdi) < f(z*), 
这 与 z* 是 极 小 值 点 矛盾 . 由 式 (5.2.4) 及 拟 微分 的 定义 可 得 


og max uld+ min vid, Vdc R^, 
) 


Of (z*) vef (a* 
于 是 
max v'd< max iu Td, Wde R”, (5.2.5) 
v€-ÓOf(z*) ucaf(z* 


根据 凸 紧 集 与 支撑 函数 的 关系 和 式 (5.2.5) T (5.2.3). 定理 得 证 . 
定理 5.2.2 Ut f(z) BR” 上 的 拟 可 微 函 数 , 如 果 f(x) 在 z* € R^ 处 达到 极 
KE, 则 有 
—Of (x*) C Of (a*). (5.2.6) 
WEBB f(x) 在 z* 处 达到 极 大 值 , 类 似 定理 5.2.1 的 证 明 , 可 得 
f'(z;d) <0, VdeR", 


类 似 地 , 也 可 证 明 式 (5.2.6) 成 立 . 定理 得 证 . 

与 Clarke 广义 梯度 形式 的 极 值 条 件 不 同 , 拟 微分 形式 的 极 大 值 与 极 小 值 必要 
条 件 在 形式 上 是 有 所 不 同 的 , 通常 将 满足 式 (5.2.3) 和 式 (5.2.6) 的 点 z* 分 别称 为 
极 小 驻 点 和 极 大 驻 点 . 

定理 5.2.3 WK f(r) 是 R^ 上 拟 可 微 和 一 致 方向 可 微 的 , 如 果 


-Of (z*) C intOf(x*), 


则 z* 为 f(z) 的 严格 极 小 点 . 
证 明 由 
—Of(x*) C intOf(z*) 
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可 知 , 存在 > > 0, 使 得 
B (0,r) C Of (z*) +v, Vv € Of (2*), 


FRA 


max u'd>r, Wwe Of(z*), lall =1. 
ucaf(z*)*v 


XT v € Of (z*) 取 极 小 , 有 


min max wid>r, lal=1. (5.2.7) 
vEðf(x*) uc Of(x*)+v 


对 式 (5.2.7) 变形 得 


uld= 


= n max u'd+vd) 
ve 


min ( 
Of(z*) u€8f(zr*) 


min ax 
v€Of (z*) ucOf(z*)v 
= max uld- min vld 
ucaf(z") v€Of(z*) 
-—f(xz'd)r, |d|-n1. 
再 由 f(x) 的 一 致 方向 可 微 性 及 上 式 , 则 存在 如 > 0, 使 得 
f(z* + td) 2 f(z*) 十 str Vt € [0, to], 


这 说 明 z* 是 f(z) 的 严格 极 小 值 点 . 定理 得 证 . 


5.3 ” 凸 紧 集 的 差 


拟 微 分 定义 与 方向 导数 有 直接 联系 , 因此 , 拟 微分 是 目前 各 种 非 凸 次 微分 中 最 
容易 计算 的 一 种 . 本 节 将 引入 两 个 凸 紧 集 的 差 ， 除 具有 拟 可 微分 析 自 身 意 义 外 , 还 
可 用 于 计算 Clarke 广义 梯度 . 


5.3.1 定义 


设 U 和 V BR EARS, T c R^, 如 果 RAT 是 一 个 零 测度 集 , WR T 
为 关于 OR? 的 满 测度 集 . 

给 定 满 测度 集 T, 使 得 在 每 一 点 xe T 处 5*(z|U) 和 ó*(z|V) 可 微 , 定义 U 和 
V 的 差 U-V 如 下 : 


U-V = cleo(Vó* (z|U) ~ Vd*(2|V)|x € T). (5.3.1) 
SCR 在 点 zeR" 的 最 大 面 G,(S) 和 最 小 面 C。(5) 定义 如 下 : 


G,(S) = {s € S|sT = max 8" 7}, 


5.3 "USE .97. 


G,(S)- {s € S|sTz = min sT}, 


G.(S) 和 G,(S) 中 的 元 素 分 别 用 ge(S) Al go(S) 表示 .注意 到 r e T, 可 以 推出 
G,(U) 和 G,(V) 都 是 单 点 集 , 因此 U-V 可 以 等 价 地 表示 为 


U-V = clcofgz(D) — g2(V)|z € T}. 


首先 , 我 们 要 说 明 按 式 (5.3.1) 定义 的 合理 性 , 即 U-V 不 依赖 于 集合 T 的 选 
择 . 假设 Tuv 是 所 有 Vé*(z|U) 和 Vó*(z|V) 存在 的 点 集 , T C Tov 是 一 个 满 测 度 
集 , 于 是 
Tuy C R” = dT. 

记 

Wi =cH{V6"(2|U) — Vó*(z|V)lz € Tuv], 

We —cl(V*(z|U) — Vó*(z|V)|z € T}. 
显然 , Ws C Wi. 男 一 方面 , Re € Tuv, WA Tuy C AT, 于 是 存在 序列 (xx) 满足 
Zk € T, zy — zx. 既然 梯度 Vå (cU) 存在 , 那么 


V6* (zy|U) > Vó*(z|U). 


同 理 
Vir(ak|y) > V6" (z|V). 
因此 
V6" (z|U) 一 V6" (x|V) EW, WiCWs, Wi =W. 
这 样 , 如 果 


Ti, T? C Tuv, 
T, AT, 是 满 测度 的 , 有 
clco(V6* (z|U) — Vó* (z|V)|z € T1) = clco( Vó* (z|U) — Vó*(z|V)|x € To}. 


因此 , 3X (5.3.1) 不 依赖 于 T 的 选择 , 即 U-V 是 适 定 的 . U-V 称 为 集合 UV 和 V 的 
Demyanov #. 
设 U 和 V ER 上 的 凸 紧 集 , 集合 的 差 U-V 定义 为 


U=V = co U (G,(U) — Ge(V)). 
rA0 


容易 验证 集合 U-V 是 闭 的 . KABA U M V 的 Rubinov Æ. 
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5.3.2 ” 氢 微 分 表示 Clarke 广义 梯度 

下 面 基于 集合 的 差 , 利用 拟 微分 表示 B 微分 和 Clarke 广义 梯度 . 

设 f(c) 是 R" 上 的 拟 可 微 函 数 , 如 果 下 述 条 件 成 立 : 

(i) 集合 RaT 的 测度 为 零 ; 

( 对 于 任意 的 9 e T, 集合 Go(9j(z)) 和 G,(6f(z)) 是 单 点 集 . 
则 称 集合 TCR" 为 关于 拟 微 分 [9f(z),6f(z)] WATER (e). 

B XCR 为 开 集 , ce X, EM X 到 Rm 的 一 族 函数 类 M(x) 如 下 : 如 果 
f(z) € M(x), 则 满足 以 下 条 件 : 

(a) f(x) Æ z 的 邻 域 B(x,5) 是 局 部 Lipschitz AY, 这 说 明 Dp 关于 B(x, 6) 是 
满 测度 的 , 即 B(x, 6) D, 的 测度 为 零 ; 

(b) f(z) 在 x 是 拟 可 微 的 ; 

(c) 存在 关于 B(x,5) 是 满 测度 的 Qc D, 和 关于 拟 微分 [9f(2),0f(z)) 满足 
(e) ER T, 且 由 条 件 


gk 3 9, tk + OF, Xy — r-ikgk EQ, g€T, 


可 以 得 到 
Vf (ak) > gol OF (2)) + Go (AF (7)). 


下 面 的 定理 给 出 了 Clarke 广义 梯度 和 拟 微分 之 间 的 关系 . 
定理 5.3.1 ”给 定 一 点 ce R^, WR f(c) 属于 R^ 上 的 函数 类 M(z), WE 


Af (x)~+(—Af(x)) c Af (2). (5.3.2) 
WEBB REE Qc B(x,6) 门 Ds 满足 
meas( B(z,ó) VQ) = 0, (5.3.3) 


其 中 meas 代表 Lebesgue 测度 , AR T C R^ WE meas(R"\T) = 0 及 具有 性 质 
(e). dd 


Or f(x) = clcof£|zy = £ + thge € Q, gy — g € T, ty — 0, Vf (zx) > E}. 
W v € Or F(z), 那么 存在 序列 (gx) 和 {te} 满足 
gk—9, tk—0*, zy,—zr4ikgk€Q, g ET, VF(zy,)v. 
另 一 方面 , 由 F(x) € M(z) 可 得 


VF (ak) > 99(OF (2)) + $s(OF(z)), 


5.3 上 四 紧 集 的 差 -99. 


即 
v= gOF(7)) + Go(OF(z)). 


这 样 , 有 
Op F(x) C cleof gg(OF(x)) + $a(OF (2)|g € T} = 8F(x)-(-OF(z). (5.3.4) 
反 过 来 , 假设 g € R^, ti > 0*, ek > 0+, 由 式 (5.3.3) 可 得 
Q(Y + te B(g, ek)) 7 Ø, 


那么 存在 gy € B(g, ex) 满足 
T iygy EQ. (5.3.5) 


因此 , 能 找到 一 个 序列 {gx} 满足 on 一 g, 使 得 式 (5.3.5) 成 立 . Mg e T, 考虑 元 素 
v = gg(ðf (z)) + jo (8f (x), 
序列 (gx) 和 {te} 满足 gr > g, te > OF, 3X (5.3.5) 成 立 ， 根据 M (ac) 的 定义 ， 
Vi (2) — v 是 成 立 的 , 即 
v € cl(£[xk =T + tkgk € Q, gk 3 9ET, tk + 07, VS (re) > E} = Or f(a). 
由 此 得 
af(z)-(-5j(z)) = rf (a). (5.3.6) 
根据 式 (5.3.4) 和 式 (5.3.6) 得 
Of (x) -(-8f (z)) = Or f(z). 


注意 到 Of(c) RMR, 有 Or f(z) C Of (x), 式 (5.3.2) 成 立 . 定理 得 证 . 
定理 5.3.2 R U,V cR”, WA 


U-V = O(6*(z|U) — 9" (z|V))|ao. (5.3.7) 


定理 证 明 可 参考 Demyanov 和 Rubinov 的 专著 , 这 里 从 上 略 . 尽管 拟 微分 不 是 唯 
一 的 , 但 式 (5.3.8) 说 明 次 微分 与 负 超 微分 的 差 是 唯一 确定 的 . 

BRA M(x) 的 条 件 (a), (b) 外 , 函数 族 M (x) 还 要 求 满足 下 述 条 件 : 

(4) 存在 Bc, 5) 上 的 满 测度 的 集合 Q C Dr 和 拟 微分 Dfa) Dfa), 使 得 由 
关系 式 


gk— 9, tel OT, zy —ztkgk € Dr, Vf(zx) — v 
可 以 得 到 
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v € G,(Of(x)) + G,(Of(z)). 


定理 5.3.3 W R^ 上 的 函数 f(x) 包含 在 函数 族 以 (z) 中 , [0f(z),9/(x)] 是 
满足 条 件 (d) 中 的 一 个 拟 微分 , 那么 下 述 关系 成 立 : 


Of (x) C 8f(z)- (-Of (z)). (5.3.8) 
WH 设 
€ € Of (x) = (v|zx € Dr, xk — zx, Vf(zx) 5 v}, 


序列 (vy) 满足 
Tk € Df, zy 5n z, V(r) > €. 


id 
Qk = [te — zll, ge = (te ~ x)/os. 
不 失 一 般 性 , 假设 
ox 10, im gk = 9, 

根据 性 质 (d) 有 

€ € Go(Of (x) + G,(Of(z)) = Gy(Of(x)) — Gg(—Ag(z)), 
由 此 得 

f(x) C AF(x)—(—-Af(z)). 

定理 得 证 . 


5.3.3 多 面体 公式 
以 下 给 出 多 面体 情形 下 集合 差 的 计算 . 
定理 5.3.4. 设 
U =co{uilt € I}, V =cof{v;|j € J}, 


其 中 u, v; ER", I,J 为 有 限 指标 集 . 给 定 一 对 指标 ;ie 1,j € J, 定义 线性 不 等 式 
系统 : 
(Lij) (us — ui) r « 0, Ys € ING), 
(v —v;)Tx «0, vte J\{j}, 
其 中 ze R^, WA 


U-V —co(ui ~ vjl(Li) Hf, ic 1, € J). (5.3.9) 


53 DREKA -101 - 


证 明 ”不 失 一 般 性 , 假设 


Us £u, Vs,t el, stl vs +v, Vs,ted, st. 


ii 
Ty= {ce Rx X (Li) FE), ien je 
Ust= {x € R^|(u, — ur) Tax = 0}, s,t€ I, 
Vat = {x € R” |(vs — v)iz = 0}, st € J, 
Ia= [ie1 ufa = aed]. z cR", 
J= fjes e= magefe }, zER”. 
下 面 证 明 
meas (R^ U ry) = 0. (5.3.10) 


icl,jcJ 
Kre R^" Y. Ei 则 指标 集 I(x) 和 J(z) 中 至 少 有 一 个 不 是 单 点 集 , 否则 存在 
io € I A jo < 了 WE I(x) = {io} 和 I(x) = {jo}, 于 是 


(us— ui) z «0, Vs € I\{io}, 
(vi 一 Vio) Tz «0, Wee J\{jo}, 


BH a E Piojo oe Y. Ti BS g ER U. Tu F. 不 妨 假设 (x) 不 
单 点 集 , 即 存在 so, "a 使 得 


To aTa — maxul 
Us T = UT = MAX Uy, T, 


这 意味 着 z e Us, 于 是 有 re U Us, 从 而 可 得 


stel 
R^ U Tyc (UU)U( U Va). (5.3.11) 
icl,jcJ stel sted 


由 假设 us Au. Ys, t E€ I s At Hv, Am, Yst € Js At M, Ust A Va 都 是 R^ 中 
的 n 一 1 维 子 空间 , WEWAS, 又 因为 上 和 .7 为 有 限 指标 集 , 故 有 


meas(( U v«)U( U, Va) =0. (5.3.12) 
由 式 (5.3.11) 和 式 (5.3.12) 可 得 式 (5.3.10). 从 c e ry 不 难看 出 


(«eU lula = dt (x) } = {ui}, 
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{v eV [o"z = 85 (2) } = {vj}, 
且 有 
Vo" (z|[U) =u, Vd" (x|V) = v. 
因此 , 6* (a |U) A ó* (z|V) 在 每 个 T;; LA AWE U Ti; 上 可 微 . 我 们 在 
icIjeJ 
U-V HEMPRT= U Fa, 即 可 得 式 (5.3.9). 定理 得 证 . 
wel JET 
iid 5.3.1 +S (Li) 都 是 一 个 具有 card! +cardJ — 2 个 线性 不 等 式 的 不 等 
式 组 . 
基于 定理 5.3.1, 我 们 可 通过 确定 系统 对 于 每 对 指标 ie I, j e J 的 相 容 性 来 构 
造 集合 U-V. 
EE 5.3.5 ” 设 U 和 VV 为 定理 5.3.1 中 给 出 的 两 集合 , 给 定 一 对 指标 ;e 1, jc 
J, 定义 线性 不 等 式 系统 : 
(Lg) (us —us)T2 <0, Ws € I\{i}, 
(v —vj)iz«0, Vte J\{j}, 
其 中 ze R", 则 U2V 具有 如 下 形式 : 
U=V = co {u; -v;|(L5) 有 非 零 解 , i € l,j EJ} 
证 明 ”给 定 一 对 指标 i eT, jeJ, (LU) 和 (L;(V)) 分 别 表示 如 下 系统 : 
(Li(U)) (us-u)’ 2 <0, viel (i), 
(Lj(V) (w-vw)z«0. Yj eJI}, 
其 中 ze R". 注意 到 U 是 一 个 有 限 个 点 的 凸 包 , 根据 极 大 面 的 定义 , 有 


G,(U) =co L 


ufr =maxula,iel 
scr 


D 


=00 {ui (us - ui)" z «ovs e (i) ie 1) 
=co {uj |x A (Li(U)) 的 解 ,i € I}. 
类 似 可 得 
Gz (V) = co {v; iz A (L; (V)) WAR, j € J}. 
因为 (zi) 是 (2 (0) 和 (L V) 的 组 合 , 所 以 有 
Gz (U) — Gz (V) =co{uj — uj |x 是 (Li (U)) 和 (Lj (V)) HAE icLjeJ) 
—co(u; -uj |e Æ (Li) Ff, ie D,3 € J}, 
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而 且 
U=V =cleo U (Ga(U) — G,(V)) 
rz 
=cleo {wi —u;|ldz #0 是 (Li) 的 解 ,i € 1,7 € J} 
二 co {uj -u;|(L5) 有 非 零 解 ,ie 1,7 € J}. 
定理 得 证 


5.4 拟 微分 的 代表 元 


从 定义 可 以 看 出 , 如 果 [Be Ifa 是 f(x) 的 一 个 拟 微分 , 则 对 任意 凸 紧 集 
S, 集合 [8f(z) + 5,6f(z) - S] 也 是 f(x) 的 一 个 拟 微分 , 因此 拟 微分 不 是 唯一 的 . 
本 节 讨论 拟 微分 代表 元 的 选取 方法 . 

考虑 下 述 集合 对 

BE A E-D, (64) 

[Of (xz), Of (JED f(z) (8f(z),0f(z))e Df(z) 
集合 对 (5.4.1) 被 期 望 是 f(z) 的 一 个 拟 微分 , 如 果 是 则 可 以 作为 拟 微分 代表 元 , 也 
称 为 拟 微分 核 . 

如 果 对 任意 满足 关系 


8f(z) C 9" f(z) RI 8f(z) C 8^ f(a) 
的 [8f (z),8f(z)) € Df(z), 都 有 

[8f (2), OF (z)) = (8 F(x), 8" f(z)], 
则 称 [A f(x), I” f(z)) € Df(z) 为 最 小 拟 微分 . 现 已 证 明 最 小 拟 微 分 是 存在 的 , 如 
° (8f(z),0f(z)) € Df (2), 
那么 存在 一 个 最 小 拟 微分 

[9 f(e), J” f(z)) € Df (z) 

满足 


a” f(x) c afz), D” f(x) C Of(z). 
可 是 最 小 拟 微分 并 不 唯一 , 最 小 拟 微分 的 任意 平移 仍 是 最 小 拟 微分 , 如 果 [4, B] 是 
一 个 最 小 拟 微分 , 那么 对 于 任意 单 点 集 {c}, [4, B] 的 平移 [4+ {c}, B-{c}] 仍 是 一 
个 最 小 拟 微分 . 
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5.4.1 二 维 形式 


对 于 二 维 形式 , 在 一 定 意义 下 , 最 小 拟 微分 是 唯一 的 . 设 f(x) 在 R 上 存在 拟 
微分 , 任 给 两 个 最 小 拟 微 分 


[9^ f(x), 97 f(x)] 和 (87 f(x), Oy f()]. 
那么 存在 ce 及 2?( 其 中 c 依赖 于 [07 f(x), OT f(z)] Al [07 f(x), Oy fa) 满足 
[87 f(x), Oy f (z)] = [IT F(x) + {c}, f(x) - (c). (5.4.2) 


下 述 定理 说 明 在 二 维 空间 中 拟 微分 核 是 存在 的 . 
定理 5.4.1 Wt f(z) EE R? 上 的 拟 可 微 函 数 , [87 f(z), 配 f(z)] 是 f(x) 在 
zr 的 一 个 最 小 拟 微 分 , 那么 下 述 关系 成 立 : 


nf (Of (x) + Of (x)) = 8j f(x) + 8, F(a), (5.4.3a) 
[8f (z),9f(z))eDf() 
- (f(x) — Of (x) = Jo F(a) - 85 f(x), (5.4.3b) 
[8f (z).9f(z))e Df(x) 
进而 有 
- (8f(z)*8f(), — n (go- arta € Df(z). 
[8f (z),9f(z))e Df(x) l8f(z).9f(z))€ Df(x) 
(5.4.4) 
证 明 设 
Bf (2), AF (2)] e Df (a), 


根据 最 小 所 微分 的 存在 性 可 以 得 到 存在 一 个 f(z) 在 x 的 最 小 拟 微分 
[9 F(x), 9^ f(x)], 


满足 
a” f(x) COf(z), I" f(x) c f(E), 

从 而 
9" f(x) + 0" f(x) C Af (x) + Of (a), (5.4.5a) 
5 f(x) ~ I” f(x) C Of (x) - 8f(z) (5.4.5) 

注意 到 


5.4 拟 微分 的 代表 元 
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都 是 f(z) 在 z 的 最 小 拟 微分 , 根据 二 维 情形 下 最 小 拟 微分 的 平移 不 变性 ， 存 在 


c € R2, 使 得 最 小 拟 微分 [8"™f(z),5 f(z)] 可 表示 成 
[9 f (2), 0^ f(z)] = [OF f(x) + {c}, 95 f(x) — (cH. 
由 此 推出 
9" f(z) +O" f(x) = OF f (z) + Jy F(a), 
8^ f(z) — 8^ f(x) = Do f(z) — 8; f(a). 
由 式 (5.4.5a), IÈ (5.4.5b), 3X (5.4.7a) 和 式 (5.4.7b) 可 以 得 到 
OF f(x) + Do f(x) C 8f(z)  Of(z), 


Io f(x) — Oo f(z) C Of (x) - Hf (x). 
X1 3X (5.4.8a) 和 式 (5.4.8b) 右 端 关 于 所 有 拟 微分 取 交 , 有 
a f(a) +O f(z) NA (Of (x) + Of (2), 
[8f (x), Of (EDF (x) 


f(a) -Pfc | (Sf (x) — Of (2)). 
[Of (x), Of(x)JEDf (zx) 
另 一 方面 , 由 (f(a), dp f(z) € Df (x) 得 


- (8f(z) + 8f(z)) c 85 f(x) + Oo F(z), 
afz) fx) Df) 


F (f(e) — Of (x)) c 8y f(x) — 9s f(E). 
[8f(2),8f(z))€ D F(z) 
Hist (5.4.92), 3X (5.4.9b), 3X (5.4.10a) 和 式 (5.4.10b) 得 


] (Of (x) + 8f(z)) = Of f(x) + 95 f(a), 
[Of (x), Of (x)JEDfF (x) 


E (Of (x) - Of (x) = 8 f(x) — 85 f(a). 
[Of (z),9f (z))e Df (x) 


注意 到 
[85 f(x), Jo flr) € Df (x) M BF f(x) 


A R? 中 的 凸 紧 集 , 则 有 


[87 f(x) + Jo f(x), Jo f(x) ~ 5 f(z)] € Df (a). 


3X (5.4.11a), 式 (5.4.11b) 和 式 (5.4.12) 说 明 式 (5.4.4) 成 立 . 定理 得 证 . 


(5.4.6) 


(5.4.7a) 
(5.4.7b) 


(5.4.8a) 


(5.4.8b) 


(5.4.9a) 


(5.4.9b) 


(5.4.10a) 


(5.4.10b) 


(5.4.11a) 


(5.4.11b) 


(5.4.12) 
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5.4.2 多维 形式 


定理 5.4.1 P, A (5.4.4) 之 所 以 对 二 维 拟 可 微 函数 成 立 , 主要 是 由 于 最 小 拟 微 
分 在 二 维 情形 下 是 相互 平移 的 , YE n 维 (n > 3) 的 情况 下 最 小 拟 微分 由 于 不 具有 平 
移 性 质 , 定理 5.4.1 的 结论 一 般 是 不 成 立 的 . 但 是 有 下 面 的 结果 : 


N (8f(z) + Of (2)) = f (8" f(z) + I” f(z)), 
(8f (z),9f(z)])€ Df(z) [8^ f (2),9" f(z))e D f(x) 
(5.4.13a) 


F (8f(z) - Of(a)) = on (5 f(x) - 9^ f(z)), 
[8f(z),9f(z))€Df(z) [8 f(z),9" f(z))e D f(z) 
(5.4.13b) 


其 中 D"f(z) 表示 f(z) f£ x 的 所 有 最 小 拟 微分 所 组 成 的 集合 . 
定理 5.4.2 BR f(z) 是 R^ 上 的 拟 可 微 函 数 , AA z 点 存在 一 个 拟 微分 
(oF (x), 9o f (z)] 满足 


pf (x)~(—Oof (x)) = Oo f (x) — (-Aof(z)), (5.4.14) 
则 有 
n (Of (x) + Of (z)) = Oo f(x) + 8of (2), (5.4.15a) 
(Of (x), Of (z))e Df (z) 
7 (Of (x) — Of (x) = dof (£) — Jo f(T), (5.4.15b) 
[Of (z),9f(z))€ Df(z) 
进而 有 
(Of (x) + 8f (z)), fn (Of (x) — 8f e) € Df(z). 
[8f (z),9f (z))€e Df (x) [Of (z),9f (z)])e Df (x) 
(5.4.16) 
证 了 明 R 


[8f (x), 8f (z)] € Df(z), 
由 式 (5.4.14) 得 到 
Oof (2) + Oof (z) =Oof (x)=(—Oof (z)) 
Of (z) -(-Of(x)) 
CÓf (x) + Of (x). (5.4.17) 


根据 拟 微分 的 定义 , 由 
[U,V] e Df(z), 
则 有 
[U +V,U - V] € Df(z), 


5.4” 拟 微分 的 代表 元 


因此 
[8f (z) + Of (x), Of (x) — Ife) 


和 
[8o f (z) + Oof (x), of (x) — 8of (x)] 


都 是 f(x) 在 z 点 的 拟 微分 . 根据 拟 微分 定义 ， 
max uly+ _ min vty 
weds (x) +f (1) vedf(z)—Of(z) 
T uty, Vy eR”. 


= max uyt _ min 
UES, f (z)--Oof (2) v€Oo f (z)-8of(z) 


根据 式 (5.4.17), 有 


uly > max uly, Yy eR”. 


max_ 4 之 q 
u€Of(r)+0f(z) uE f(z)+00 f(z) 


结合 式 (5.4.18) 和 式 (5.4.19) 得 


_min  vyx min 
ved f(z)—Of (zx) vEOo f (z) -Oo f(z) 
同 理 , 5X (5.4.20) 等 价 于 


. max. Ty > min 
v€Of (zx) -Of(z) v€Oof(z)—-8of(x) 


由 式 (5.4.21) 及 凸 紧 集 和 其 支撑 函数 的 关系 得 
dof (x) — Jof (x) C Of (x) — Of(z). 


viy, Vy€ R^. 


vty, WER". 
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(5.4.18) 


(5.4.19) 


(5.4.20) 


(5.4.21) 


(5.4.22) 


注意 到 式 (5.4.17) MA (5.4.22) 对 任意 的 [Of (z), 0f (z)] € Df (x) 都 是 成 立 的 , 分 别 


在 式 (5.4.17) 和 式 (5.4.22) 的 右边 对 所 有 拟 微分 取 交 得 
Ao f (x) + Bof (x) C Nn (Bf (x) + Of (z)), 
[8/(z). 8f (z))eDf(z) 


Dfl) -Dfl =  (f(-Bf). 
(Of (x), Of(x)JEDf(z) 
另 一 方面 , 由 
[do f(x), DoF (2)] € Df (a) 
可 以 推出 


E (Of (x) + Of (x)) C Oo f(x) + Oof (1), 
[(8f(2),9f(z))€ Df(z) 


(5.4.23a) 


(5.4.23b) 


(5.4.24a) 
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(8f(z) - Bf (w) c Bof(z) -Dof (2). (5.4.24b) 
laf (z),9f(z))€e Df(z) 


结合 式 (5.4.23a) RIA (5.4.24b) 得 到 式 (5.4.15a). BE, BAR (5.4.23b) AX 
(5.4.24b), 并 注意 到 关系 


[Bof (x) + Jof (x), Jof (2) — Bof (x)] € Df (zx). 


得 式 (5.4.15b). 命题 得 证 . 

定义 5.4.1 Wt X, X2 为 R^ 中 子 空间 , 如 果 Xi +X = R^, 且 对 于 和 任意 
zı € X4 和 z € Xo MA zl a. =0, 则 称 X, A Xo 是 正 交 补 子 空间 . 

定理 5.4.3 KX, AX. 是 Rn 的 正 交 补 子 空间 , WR ACX, Bc Xo, HB 
^ A-B —A- B. 

证 明 根据 式 (5.3.7), 有 


A+B = O(5*(2|A) - &*(z|B))l,. (5.4.25) 

由 于 X 和 Xp 为 正 交 补 子 空间 , 则 任意 z & RY 都 可 以 表示 为 = = zi + zz, 其 中 
zı € Xi, z9 € X2. 显然 

8*(a|A) — &*(z|B) = ô (z1 |A) — 8" (z2|B), (5.4.26) 


注意 到 zi € Xi, za € Xo, X, 和 X2 是 正 交 补 子 空间 . 在 这 种 情况 下 , Clarke 广义 
梯度 形式 下 的 链 式 法 则 正好 是 等 式 关系 . 由 (5.4.26) 可 得 


9(0* (z |A) — 9*(z|B))|,..o = O(5" (z1 |A) — ó*(z2 | 已 ))|。 Lo 


= 05*(21 |A)|,,-9 — 06* (2 |B)],, o - (5.4.27) 
对 于 支撑 函数 , Clarke 广义 梯度 为 凸 函数 的 次 微分 , 在 式 (5.4.27) 中 , > 
A= 06"(21|A)|z,-0 I B = 88* (x2 |B) |;,—o , 
利用 支撑 函数 在 0 点 次 微分 公式 , 得 
6*(21|A)|,,-9 ~ 06" (22 |B )| = A — B. (5.4.28) 
由 式 (5.4.28) 和 式 (5.4.25) 即 得 
A~B=A-B. 


定理 得 证 . 
引 理 5.4.1 3X f(z) 为 R^ 上 的 拟 可 微 函 数 , [ALB], [U,V] € Df(z), WA V 


有 如 下 的 形式 : 
V = A~(U — B). (5.4.29) 
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证 明 ”显然 


T T T T n 
maxu y— maxv'y-— maxu y — max v Vy cR 
u€ A y ve Y ucU y v€-V y W ; 


故 


一 二 一 v. n, A, 
maxu” y max vt y= max v” y YWER (5.4.30) 


在 y = 0 处 取 Clarke 广义 梯度 , 式 (5.4.30) 变 成 


— = — T 
ð (maxu* y— max v Ty) yao ol max v y) em (5.4.31) 


根据 Demyanov 差 的 定义 和 式 (5.4.31), 得 
A-(U -有 = -(-V), 


即 式 (5.4.29) R. 引 理 得 证 . 
定理 5.4.4 R f(x) 是 R* 上 的 拟 可 微 函 数 , H [8f(z),5f(z)] € Df), WR 
存在 W c R^, 使 得 
[Of (x) -(-Of(z)), W] e Df(z), 
那么 
W = Of (x)~{(OF(x)—(-Of(x))) - Of (x)}. 
证 明 在 引 理 5.4.1 中 , 取 


(4, B] = [8f (2), 8f ()]. 
[U. V] = [Bf (x) - (C8 (z)), W], 
则 有 
W = A-(U — B) = Of(x)~{(Of(x)~(—Of(2))) - OF (2)}. 
命题 得 证 . i 


定理 5.4.5 Wt f(x) 是 R^ 上 的 拟 可 微 函 数 , 如 果 存 在 [4, B] e Df(x) 满足 
A- (-B) = A- (-B), 那么 对 任意 的 拟 微分 [8f (2), 0f (z)) € Df (x), 集合 对 


[Bf (x)~(—Of (x), Of (x) - (Bf (z)- (-8f(z))) - 8f(x))] (5.4.32) 


是 f(x) 在 x 点 的 拟 微分 . 
证 明 ”根据 定理 5.42, 


[A~(—B), B - B] = (8f (z) -(-0f(z)), B — B] 
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是 拟 微分 . 根据 定理 5.4.4, 由 
[8f (x)~(-Of(x)), B — B] e Df(z) 


可 得 
B — B = 8f(x)- ((8f(x)-(-0f(x))) — Of (x)}. 

这 说 明 式 (5.4.32) 是 拟 微分 . 命题 得 证 . 

注意 到 多 面体 的 Demyanov 差分 和 Minkowski 差分 是 多 面体 , 我 们 有 如 下 的 推 
论 . 

推论 5.41 ”假设 存在 [4, B] € Df(z) 满足 A-(-B) = A- (-B), RASM 
体 [U,V] € Df (x), 那么 拟 微分 (5.4.13) 是 一 对 多 面体 . 

W [Of (x), Of(x)] € Df (x), [U,V] 一 对 凸 紧 集 , 那么 [U,V] € Df(x) 当 且 仅 当 
下 面 等 式 成 立 : 

8f(z) -V =U —Óf(a). (5.5.33) 


W [U,V] Ast (5.4.32) 和 式 (5.4.33) 中 的 集合 , 则 有 
Of (x) — (8f (z)- (f(x) -(-8f(z))) - 9f(z)]) 
= (8f (z)- (-8f(z))) ~ Of (z). (5.4.34) 


由 此 , 对 于 任意 的 [OF (x), Of (x)] € Df (a), R (5.4.32) 是 拟 微 分 当 且 仅 当 式 (5.4.34) 
成 立 . 这 样 , 给 定 一 个 拟 微分 [Of (2), OF (x)], 我 们 首先 检验 式 (5.4.32) 是 否 是 一 个 
拟 微分 , 或 等 价 地 , 检验 式 (5.4.34) 是 否 成 立 , 如 果 成 立 , 取 式 (5.4.32) 中 不 依赖 
[Of (x), 9f (z)] 的 集合 作为 拟 微 分 等 价 类 的 代表 . 


5.5 EREEREER 
本 节 介绍 矩阵 空间 上 凸 紧 集 的 差 , 它 可 用 于 通过 拟 微分 计算 Clarke 广义 Jacobi 
Al B 微分 . 
5.5.1 ”定义 及 性 质 


WW =W xe x Wn, 其 中 WoW, CR". 矩阵 集合 Ww 的 支持 函数 
ó*(z|W) 定义 为 
5* (a |W) = (6*(2|Wi),---,6°(@ |W)”. 


W 的 最 大 面 和 最 小 面 分 别 用 G.(W) 和 GW) 表示 , 定义 为 


G,(W) = (Qn, Wm) | wp z = max w'r, wi EW,i=1, m}, 
w i 


5.5 ”和 矩阵 空间 上 丁 紧 集 的 差 -111. 


Gs(W) = {(o wm) | wp x = min wz, wi E Wi,i= 1,...,m)}, 


Gz(W) 和 Gs(W) 中 的 元 素 分 别 用 go(W) 和 5,(W) 表示 . 
WU; 和 Vi,i=1,…,m Æ R” 上 的 凸 紧 集 , w 


[U, V] = [U1, Vi] x -+ x [Us Vm]. (5.5.1) 


给 定 满 测 度 集 T( 定 义 见 5.3 节 ), 使 得 在 每 一 点 z € T 处 , (|U) A ó*(z|V) 的 
广义 Jacobi FE, 定义 矩阵 集合 U AV 的 差 u-v 定义 如 下 : 
U-V = d(Jó*(z|U) — Jó*(z|V)|z € T), (5.5.2) 
其 中 J 代表 Jacobi. 注意 到 z € T, 可 以 推出 G,(U) 和 G,(V) 都 是 单 点 集 , 因此 ， 
U-V 可 以 等 价 地 表示 为 
U-V = cl{gz2(U) — g2(V)|z € T}. 
首先 , 我 们 要 说 明 式 (5.5.2) 定义 的 合理 性 , 即 U-V 不 依赖 于 集合 T 的 选择 . 
假设 Tuy 是 Jó*(z|U) 和 Jó* (x|V) 存在 的 点 的 集合 , T C Toy 是 一 个 满 测度 集 , 于 


是 
Tyy C R” = dT. 


ii 
W, =cl (Jó' (z|U) — Jó* (z|V)| a € Tuv]. 
Wo = dl (Jó*(z|U) — Jó*(z|V)|z € T}, 


显然 Wo C Wi. 另 一 方面 , W z € Tuv, WA Tuy C eT, 于 是 存在 序列 {zk} 满足 
zy € T, zy > x. BER Jacobi Jó*(z|U) 存在 , 那么 Jó* (zy |U) 一 Jó* (x |U). RÆ, 
Jó* (zy |V) 一 Jó*(z |V), 因此 


Jé*(z |U) — Jà*(z |V) € Wo, 
BB Wi C Wo, 故 Wi = Wo. 这 样 如 果 T1, T C Tov, Ty WT. 是 满 测度 的 , 有 
cl (Jó' (z|U) — Jó* (z|V)| z € Ti} =cl {J5*(x|U) — Jó*(z |V)|x € To}. 


这 说 明 , XX (5.5.2) 不 依赖 于 了 的 选择 , 即 U-V 是 适 定 的 . 
34 m = 1(B) U,V c R”), 集合 co(U-V) 是 Demyanov 25, 不 难得 出 


U-V C (U1 +V1) x +++ x (Us - Va). 
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但 上 式 只 是 包含 关系 , 一 般 情况 下 等 式 并 不 成 立 . 
下 面 介绍 R 中 凸 紧 集 的 另 一 种 差 . RU AV HR (5.5.1) 中 给 出 , 集合 
WE U-V 定义 为 
U-V = Ue: (0) ~ Gz(V)]. 


容易 验证 集合 U-V 是 闭 的 . 
显然 , 5 m — 1 时 , co(U-V) 是 UV 和 VV 的 Rubinov 差 , 事实 上 


U-V C (U-V) Xx (Um = V4). 


5.5.2 ” 拟 微 分 表示 B 微分 和 广义 Jacobi 


下 面 给 出 基于 集合 的 差 , 利用 拟 微分 表示 B 微分 和 Clarke 广义 Jacobi. 

设 F(z) 是 R^ 到 刁 ” 上 的 向 量 拟 可 微 函 数 , BAT C R^ 称 为 关于 拟 微分 
[OF (x), OF (z)| 满足 性 质 (c), 如 果 下 述 条 件 成 立 : 

(i) 集合 RAT 的 测度 为 零 

(ii) 对 于 任意 的 g € T, 集合 Go(9F(z)) 和 G,(OF(z)) 是 单 点 集 . 

WX cR" ARK, 点 ze X, EM X BR” 的 一 族 函 数 类 M(z) 如 下 : 如 果 
F(x) c M, 则 满足 以 下 条 件 : 

(a) F Æ x 的 邻 域 B(z,6) 是 局 部 Lipschitz 的 , 这 说 明 Dp XF B(z, 0) 是 满 
测度 的 , 即 B(z, 6)\DE 的 测度 为 零 ; 

(b) F Æ r 是 拟 可 微 的 ; 

(c) 存在 关于 B(x, 5) 是 满 测度 的 Q C D, 和 关于 拟 微分 [BF(z),5F(z)] 满足 
性 质 (e) WT, 且 由 条 件 gk 5 g, tk > 0t, zk =o + tigr € Q, g ET 可 以 得 到 


JF (24) > 99(OF (2) + 3 (8F(2)). 


下 面 的 定理 给 出 了 B 微分 和 拟 微分 之 间 的 关系 . 
定理 5.5.1 ”给 定 一 点 ze R^, 如 果 F(x) AFR" 到 Rm 上 的 函数 M(x)， 
那么 下 述 关 系 成 立 : 
OF (x)~(—OF(x)) C OpF(7). (5.5.3) 


证 明 ” 取 和 集合 QC Biz, 6) Dr 满足 
meas( B(x, 5)\Q) = 0, (5.5.4) 
53H T C R^ 满足 meas(R"\T) = 0 REE (e). id 


OpF(z) = cl(£| zx =T + tkgk € Q, gk — g € T, tk — 0, JF (£k) — £}. 
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W v € Or F(x), 那么 存在 序列 {9r} 和 {te} 满足 
gk —>g, ty —0*, te=cttegr EQ, g€T, JF(zx) v. 
另 一 方面 , 由 F(x) e M(z) 可 得 
JF (xk) > 99(OF (2)) + 9,(OF (2), 


即 
v = 9q(OF(2)) + G9(OF(2)). 
RRA B 
Or F(x) C cl( gy (QF(z)) + g,(8F(z))|g € T) 
= OF (x)~(-OF(X)). (5.5.5) 


假设 g € R^, tk + 0+, e + OF, 由 式 (5.5.4) 可 得 
Q(z + tkB(g.&x)) £ 9. 


那么 存在 gx € Blg er) 满足 
zc tron EQ. (5.5.6) 


因此 , 能 找到 一 个 序列 {gx} 满足 gx > g 和 式 (5.5.6) 成 立 . Mg € T, 考虑 元 素 
v = 9g(OF (z)) gy (OF(z)), 


序列 {on} 和 {te} 满足 gk 一 g, th > OF, XX (5.5.6) RY. 根据 M(x) 的 定义 ， 
JF(z) > v 是 成 立 的 , 即 


v€cl£&[z, = 2+ trgk € Q, gk >g ET, tk > 0t, JF (ax) > E} = Or F(a). 


由 此 得 
QF(x) - (-OF(z)) = Or F(z). (5.5.7) 


根据 式 (5.5.5) 和 式 (5.5.7) 得 
OF (x)~(-OF(x)) = ðrF (z). 


注意 到 Op F(x) RAR, 有 
OrF (x) C Og F(z), 


3X (5.5.3) 成 立 . 命题 得 证 . 
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推论 5.5.1. B F(z) X R” SR” 上 的 函数 , 给 定 一 点 ze R”, WH F(z) Ee 
M (z), WA 
co(&F(z)- (-8F(z))) C OF (x). 


下 面 讨论 函数 族 M(z). 

命题 5.5.1 F(z) AR" SR” 上 的 函数 , W Pe) 属于 M(x) 当 且 仅 当 
F(z) 的 每 个 分 量 属于 M (a). 

WEAR X F(x) = (A(x), fma), HP filz) i=1,---,-m AR” 上 的 实 
值 函数 , 显然 filz) e M(x). 为 了 证 明 F e M(a), 我 们 只 需 考虑 条 件 (c). 假设 条 件 
(c) 对 每 个 f(z) 都 成 立 , 即 存在 一 个 满 测度 的 集合 Qi C Dr 且 满 足 关系 : 


9:79, t, —50*, se=attege Ee Qi 9 ET, 


使 得 
Vfi(Zk) — go(Ofi(x)) + Go (Ofi(7)). 
取 
Q= N Qi, T= Ot, 
gk—9, tk —^0*, ce=attegr€Qi, 9g €T, 
由 此 得 


JF (zk) > 9q(OF (2) + Gg(OF (2). 
这 说 明 条 件 (c) 对 F(x) 成 立 . 定理 得 证 . 
根据 命题 5.5.1, 我 们 得 到 如 下 的 结果 . 
命题 5.5.2” 设 F(z) 为 R^ 到 Rm 上 的 函数 , WR Fa) 在 点 z HERRA 
是 凸 的 , 那么 F(x) e M(x). 
命题 5.5.3 R Filz) A R^ 到 R” 上 的 函数 , F; e M(x), i — 1,.…,1, G(x) 
是 连续 可 微 函 数 . 那么 复合 函数 


G(F,(2),---, Fi(x)) € M(z). 


命题 5.5.4 BE X 是 R^ 中 的 一 个 开 集 , En) i— 1,0 X 8 RP 上 
的 向 量 函 数 , HRT M(x), 那么 函数 max Fi(z) ) 和 min F(z) 属于 M (x). 


定理 5.5.2 ”假设 UV AV 如 式 (5.5.1) 所 给 ， 那么 以 下 公式 成 立 


U-V = Og(ó* C-|U) — 6*(-|V))(0). (5.5.8) 
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证 明 ”由 于 6*(:|U) 和 6*(:|V) 都 是 凸 函数 , 由 性 质 5.5.2 和 5.5.3, 对 任意 的 
rcR^,ó*(.U)—6*(-|V) 包含 在 函数 族 M(x) 中 . id 
G() = ó*(-|U) — ó* C |V ), 
那么 
8G(0) =U, G0) = -V 
是 G(x) 在 z = 0 的 一 个 拟 微分 , 由 定理 5.5.1 得 


U-V c àg(6* (-|U) — 6*(-|V))(0). (5.5.9) 
下 面 证 明 
U-V D Oüg(9* (-|U) — ' C. |V ))(0). 
ii 
D=cl{w| xr, — 0,J(6* (-|U) — 9* -|V (zx) > w, £k € Tov}, 
其 中 


DOp(0 C |U) — à*(-|V))(0) = D. 
设 wc D, 则 序列 {r} 满足 


zy 0, JOCU) -8 (|V )) (zx) > w. 


H 
J(9* C |U) — ó* C [U ))(zk) = J8" (xx |U ) — Jô" (zx |V), 
可 得 
w € cH Jó*(z|U) — Jó*(z|V)|z € Tuv} = U>V, 
由 此 得 
Dc U-V, 
进而 有 
Op(6°(|U)— 0°(|V))(0) c U-V. (5.5.10) 


结合 式 (5.5.9) 和 式 (5.5.10) 可 以 推出 式 (5.5.8). 命题 得 证 . 
EH 5.5.3 Wb F(z) Aj R^ BR” 上 函数 , 在 > 处 是 拟 可 微 的 , [8F(z),5F(z)] 
为 其 一 个 拟 微分 , 则 有 


Op(F'(ziy) ly- = OF (x)~(—OF (2). (5.5.11) 
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证 明 ”注意 到 
F'(z;y) = 9 (y |3F (z) ) — ô” (y |OF(z)), 


由 式 (5.5.8) 得 式 (5.5.11) 成 立 . 命题 得 证 . 

尽管 拟 微分 不 是 唯一 的 , 但 式 (5.5.11) 说 明 , 次 微分 与 负 超 微分 的 差 是 唯一 确 
定 的 . 

定理 5.5.4 BE R 到 Rm 上 的 函数 F(x) 在 x 的 一 个 邻 域内 分 片 连续 可 
fA, 那么 式 (5.5.3) 成 立 . 

除 具 有 M(x) 的 条 件 (a), (b) Sh, 函数 族 M(x) 还 要 求 满足 下 述 条 件 : 

(d) FE B(x, 6) 上 的 满 测度 的 集合 Q cC Dr 和 拟 微分 [BF(z),5F(z)], 使 得 由 
关系 式 

gk — 9, tk Lor, Tk = T + tkgk € DF, JF (xx) >v 
可 以 得 到 
v € Gy(OF(x)) + G,(OF(x)). 

定理 5.5.5 WR BR” ERM F(z) 包含 在 M (x) 中 , [BF(z), OF(z)] 是 

条 件 (d) 中 的 一 个 拟 微分 , 那么 下 述 关系 成 立 : 


OpgF(x) C OF (x)=(-OF(a)). (5.5.12) 
证 明 设 
€ € OpF (x) ={v| zx € Dr, zy > x, JF (2%) > v}, 


序列 (v) 满足 

zk E€ Dp, zy m, JF (rE) €. 
记 
Lk Z7 


Qk = ler ~ x], gk = 
ak 


不 失 一 般 性 , 假设 ax | 0, limi sos gx = 9, 根据 性 质 (4), 有 
€ € G,(OF(x) + G,(OF(z)) = G,(8F(z)) - G,(-ÓF(z)), 
由 此 得 - 
üpgF(z) C OF (x)=(-OF(z)). 
定理 得 证 . 
fpE 55.5 B F(z) A R^ SR” 上 的 向 量 值 函数 , 则 F(z) 属于 函数 类 
M(z) 当 且 仅 当 它 的 每 个 分 量 都 包含 在 Mc) m. 
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WH 5.5.6 Ut F(z) 为 R^ IR” 上 的 向 量 值 函数 , WR Fe) 在 x 的 一 个 


邻 域内 是 凸 的 , 那么 l 


命题 5.5.7 ”假设 Flr) R^$ Rm 上 的 向 量 值 函数 , F(z) e M(x), i = 


1,---,1, Gy) AR! 上 的 连续 可 微 函 数 , 那么 GE (r), Fi(z)) € M(z). 


命题 5.5.8 ”假设 X 是 R^ 中 的 一 个 开 集 , Fle) i91, 12 X BRE 


的 函数 , HAT M(z), 那么 max Fi(z) 和 min Fi(z) 属于 函数 类 M(z) 中 . 


既然 M(x) C M(x), WE 
OF (x)—(—OF(zx)) = ðg F(z) 
C OF (x)=(-8F(x)), VF € M(x), 
由 式 (5.5.13), 我 们 有 如 下 性 质 : 
命题 5.5.9 ”假设 F(z) A R^ 到 Rm 上 的 函数 ， 
F(x) € M(z), 


QF(z)- (CÓF(z)) = OF (x)=(—OF(z)), 
则 有 
Og F(z) - 8F(z) - (CÓF(x)) 
=O0gF(x) C OF (x)=(—-8F(z)). 
5.5.3 多 面体 差 的 公式 
下 面 我 们 针对 多 面体 UV 和 VV 给 出 U-V 和 UV 的 表达 式 . 
定理 5.5.6 HU,VeR™”, WA (5.5.1) 所 给 出 ， 
U; = co(vuij| j € Ji), V; = cof vik|k € Ki, 1=1,..,m, 


其 中 ug, vin € R^, Ji, Ki 是 有 限 指标 集 , 不 失 一般 性 , 假设 


Uis £ Vit, VstCJi, sH#t, Vis EUV, VstlcK, st, i=l, 


给 定 一 对 指标 集 
ji € Ji dm € Jm 和 ky € Kj, ka. € Km, 


令 线 性 不 等 式 系统 如 下 : 


(5.5.13) 


(5.5.14) 
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(Ls jmikis (ui, 71) y <0, Vs € AMA 


(Ums 一 Umjm )Ty <0, Vs € Jm M jm 
(vit — Viz, Ty <0, Vt Ki\{ki}, 


(Umt —Umkm) y <0, WEE Km\{km}, 
其 中 ye R^, 那么 


yr 


(Lis i dmi ki, +++, km)) 有 解 } 


Jp E Jp, kp € Kp, 1 pm 


ov ps T Ulki’ Umijm 7 Umkm 

(5.5.15) 
WEBB 记 

y 是 (Zn)) 的 解 

jp € Jp, kp € Kp, p= 1, e,m , 

Uijs = {y E€ R^? | (tig —~uis)Ty =0}, jse Ji,i=1,---,m, 

Vine = (y € R” |(vix — vie) y = 0), k,te Kj,i=1,---,m, 

Jy) = (3 € Ji uy = max usy}, ye R",i=1,---,m, 


Ducum Enc km) = {ver 


Ki(y) = {ke Kil vy = max viy}, yE€Ri=1,---,m, 


以 下 面 证 明 
meas (R^ U — DG. fm kay +, km)) =0. (5.5.16) 
jp EI pskp Ky 
pi 
7ER U T (Fi), dmi km)), 
jpEJp kpE Kp 
Bp 
y € RÀ U PT(ji ,jrm; ky, Ek), 
jpC Jp kp EK 
则 有 


y € (ju jmi nos Em), Vjp € Jp, kp € Ky, p=1,.…,m. 


因此 , 存在 一 个 指标 1 < i < m, 使 得 指标 集 Jig) 和 K;(5) 中 至 少 有 一 个 不 是 单 点 
集 , 否则 JG) 和 天 (加 = 1 m 都 是 单 点 集 , 记 


A) = {ji}, n ,Jm (VY) = {jm}; 
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Ki) = (ub Km(y) = {km}. 
这 样 , y = y 是 系统 (LG +++, mi 1，… ,km)) 的 解 , 这 与 可 和 TO Imi kay, 
km)) 矛盾 . 不 妨 设 存在 一 个 指标 1 < do « m, 使 得 Ji (y) REBAR, 于 是 存在 
Jo, So € Jis (y), jo 天 80, 使 得 yE Ui, joso: 由 此 得 
ye U ( U Uis), 


I&i&m '*js€ji 
进而 推出 
R^ OU TUS) CU (( U ou(CU oo)) 


fpe Jp kp ER IXi&m \\ jsEJ; 

(5.5.17) 

根据 假设 条 件 Uis 天 Uit, YS,tE Ji, srt 和 Vis # vit, Vs,t € Kj, 8 Züi- 1m, 

得 Ui, 和 Vas, ER" PH n — 1 维 子 空间 , 所 以 它们 的 测度 为 零 , 又 因为 ,Ki 是 
有 限 指标 集 , 所 以 有 

meas{ A. [(MUNZS (U Vier) |} =0, (5.5.18) 


j.s€ Ji 
由 式 (5.5.18) 和 式 (5.5.17) 可 以 得 式 (5.5.16). 不 难看 出 , H y € T (A+ jmp kis, 
km) 可 得 

Gg(Ui) = (wh Gy(Vi) = (vig); i=1,---,m, 
因此 , ó*(y]U;) 和 é*(y|Vi) 在 相处 可 微 , HA Vo" (g|U;) = uy, A Vé*(g|V.) = 
vij t= Lou m. EMA ô" (y [U;) 和 6*(y|Vi) 在 5 处 可 微 , 具有 


Jé* (g|U) = Qj c Umia)" 
f 

JE (TIV) = (vig, tmi.) 
因此 , o* (y |U ) P St (y|V) ÆT Gn dmi En km) 内 可 微 ,对 于 ji 6 Jis jm € 
Jm Al ky € Ki, km € Km, Æ U-V 定义 中 取 


T= U Pi jn; kl km); 
jp& Jp, ky € Ky 
即 得 式 (5.5.15). 命题 得 证 . 
注 5.5.1 系统 (L(j1, Utt „Jm; kı, UU ,km )) 是 有 n 个 变量 的 严格 线性 不 等 式 
组 . 
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事实 上 , BE ji € Ji, jn € Jm M ki € Kaskus € Km, 如 果 系 统 (Li, ,jm; 
kire km) 是 相 容 的 , 那么 


(ui Z Vikis’ tt Umjm 一 Vmkm ) € U-V, 
否则 
(taj, T Vikis’ mis 一 Umkm) ¢ U-V. 
定理 5.5.7 ”假设 U,V c Rmxn 如 定理 5.5.6 所 给 出 , 对 于 两 组 指标 集 ji e 
Jisim € Jm 和 ky € Ki1,…, km € Km, 构造 如 下 的 线性 不 等 式 系统 : 


(MO km)) Qs ju) y «0 vse AMA) 


(Ums — Um, ) Ly <0, Vsc Jn Mm) 
(vie — vie Ty <0, Vt € Ki), 


(Umt 一 Umkm )Ty <0, vte Km\{km}, 
其 中 ye R^", 那么 
并 (M(Ài, Utt Jm; ky, Trta | 


U=V=4 (uij — Viki s Umjm —Umkm) |. 
jp E Jp, kp € Kp 1&« p&m 


(5.5.19) 
证 阴 ”给 定 一 对 指标 集 j € Ji, jm € Im 和 ki € Kis, km € Km, 构造 
两 个 线性 不 等 式 系统 : 


(Uj...4,) (Urs ~ Uy, Ty <0,  Vse AMA) 


(ums — ui) y SO, Ys € Jo {im} 
(Vi) (Wie Mik) y <0,  vte Ki, 


(Umt — Umkm ) | V <0, Wee Km\{km}, 
其 中 ye n^. 根据 最 大 面 的 定义 , 有 


Ga(U) — (Qj ms) | uis m = MAX uisa, ji € Si, i=1,---,m} 
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(uis — Uli )Pa < 0, Vs € AMA 


(Ums 一 Umjm) T <0, Vse JnM Jm] 

ji € Jíi -1l,,m 
SICHERE: 为 (Uja, jm ) 的 解 ， Ip € Jp, P = 1,---,m}, 

辣 理 可 得 


= 4 (urjis Umjm) 


Gz(V) = { (viks: +, Umkm) |T 为 (Vier km) 的 解 ， kp € Kp,p = 1,---,m}. 


注意 到 , 系统 (MG jmiki km)) 是 系统 (Uj, 5m) 和 (Vakna) 的 组 合 ， 
则 有 


2(U) - G«(V) 


EAE (Ui, s) (Vsus), 
jp € Jp ky € Ky, p =1,---,m 


T 
(uij — Ulki’ Umim 一 Umkm ) 


G 
= fius s Umjs) S — (Viki, Umkm)" 


z f (Mis jm ki, km)), | 


jp E Jn, kp E Kp, lL KS pgm 


进而 有 
U=V= UIG-() - G«(V)] 
Z 天 0 
一 (ui Vik Umi, 7 Umk yt z£0 是 (M mk km)) 的 解 ， 
Ji 1? ) mm m jp € Jo kp € Kp 1 &«p&m 


(M(ji,- UC „Jm; kK1, -,Km)) 
= ¢ (Wij — "Vins Umjm 7 Unks ) | AIFM, , 
jp€ Jo kp € Ky, 1 Spasm 
即 式 (5.5.19) 成 立 , 命题 得 证 . 
显然 , 每 个 系统 (1M (j,… ,jm; hi,… ,kn)) 有 》 (cardJ; + card K; — 2) 个 不 


等 式 . = 
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本 章 讨论 约束 非 光 滑 优 化 的 最 优 性 条 件 . 所 谓 最 优 性 条 件 就 是 对 一 个 优化 问题 
最 优点 特征 的 刻画 , 包括 充分 性 条 件 和 必要 性 条 件 两 种 , 但 在 最 优化 研究 中 人 们 往 
往 对 必要 性 条 件 关 注 多 一 些 . 


6.1. 凸 规划 的 最 优 性 条 件 


所 谓 凸 规划 是 指 凸 函数 在 凸 集 上 的 极 小 化 问题 . 由 于 凸 规划 具有 较 一 般 非 凸 规 
划 更 好 的 性 质 , 特别 是 在 局 部 极 小 与 整体 极 小 的 等 价 性 以 及 必要 性 条 件 与 充分 性 条 
件 关系 等 方面 有 显著 的 特征 , 因此 备 受 人 们 关注 . 
6.1.1 一 般 约束 情形 


考虑 下 述 优化 问题 : 
min f(z), 
s.t. x € S, (6.1.1) 
其 中 f(z) 为 R^ 上 的 凸 函数 , s c R^ 为 凸 集 . 
定理 6.1.1 ”问题 (6.1.1) 的 局 部 极 小 点 一 定 是 全 局 极 小 点 , 进一步 , 它 的 极 小 
点 集 为 S 中 的 凸 集 . 
WEB] 设 z*e5S 是 问题 (6.1.1) 的 局 部 极 小 点 , 则 存在 7 > 0, 使 得 


f(z*) < f(r), Yr E€ B(z*,r)} NS. 


WHE reS He ¢ B(z*,r), > 


"gp m= Oe" +e, 


显然 
O<t<1, am € B(z',r)nS. 


根据 假设 及 f(z) 的 凸 性 得 
f(z*) < f(x) € (1 — 0f(z*) + tf (2), 
于 是 tf(a*) <tf(x), Bl f(z*) < f(x), M r 为 问题 (6.1.1) 的 全 局 极 小 点 . 
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另 一 方面 , 问题 (6.1.1) 的 最 优 解 集 可 利用 它 的 任意 一 个 最 优 解 z* 来 表示 : 
onfzeR" Hz) < f(z*)). (6.1.2) 


注意 到 , 凸 函数 的 水 平 集 是 凸 集 , 集合 (6.1.2) 为 两 个 凸 集 的 交 , 因此 是 凸 集 , 即 问 
题 (6.1.1) 的 解 集 为 凸 集 . 定理 得 证 . 

定理 6.1.1 说 明 , 对 于 凸 规 划 , 局 部 最 优等 同 于 全 局 最 优 , 因此 , 对 凸 规划 问题 
不 再 区 分 局 部 最 优 解 与 全 局 最 优 解 . 

定理 6.1.2 ”在 问题 (6.1.1) 中 , 只 假设 f(z) 为 R^ 上 的 局 部 Lipschitz 函数 ， 
SAR" 中 任意 子 集 , 如 果 x e S 为 问题 (6.1.1) 的 最 优 解 , 则 存在 常数 a > 0 和 
6 > 0, 使 得 当 c> a 时 , 有 


其 中 ds(z) 为 点 xz 到 集合 S 的 距离 . 
WEBB ”根据 f(x) 的 局 部 Lipschitz 性 质 , 存在 6 > 0, a > 0, 使 得 当 c > a 时 


|f(z1) — f(z2)) <ellz1 — za], Vari, £2 € B(z, 6’). (6.1.4) 
取 e € (0,1) 充分 小 及 5 € (0,5'/3), 则 对 于 y € B(x, 5), 存在 y. € S, 使 得 


ly — yell < (1 + e)ds(y). 


lz — yell <6 < 8/3, 


lz — yell < lx — vll + lly — yell 

< |z — yll + (1 + e)ds(y) 

<(2+e)|lz — yll < 6. 
因此 , 由 式 (6.1.4) 得 

flye) € f(y) + c(1 + e)ds(y) 

S f(y) +elly — vell 

< fly) +e + )ds(y) 

< f(y) * c(1-- e)ds(y). 
另 一 方面 , Hy. € S 和 f(x) < fly) WR x 为 极 小 点 , WA 


f(x) = f(x) + eds(z) 
€ fly) * c(1 + e)ds(y), 
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再 由 c 的 任意 性 即 得 式 (6.1.3). 定理 得 证 . 
上 述 定理 说 明 , 对 于 目标 函数 为 局 部 Lipschitz 的 约束 最 优化 问题 min f(z) 可 
等 价 的 转化 为 无 约束 问题 
min f(z) + eds(c), 


其 中 c 为 大 于 某 一 个 门槛 值 a 的 常数 即 可 . 

定理 6.1.3” 设 z* e S, 对 于 优化 问题 (6.1.1), 下 述 结论 等 价 : 

(1) z* 是 问题 (6.1.1) 的 最 优 解 ; 

(2) f'(a*;y -zx*) 20, Vy € S; 

(3) f'(z*;d) > 0, Vd € Ts(z*); 

(4) 0 € Of (x*) + Ns(x*). 

证 明 (D= (2) (3) 假设 结论 (1) 成 立 , BB z* 是 问题 (6.1.1) 的 最 优 解 . 对 
任意 y e S, 根据 集合 5 PER 


x +t(y—x*)eS, Vee [0,1]. 
由 z* 是 最 优 解 , WA 


IE ty 2") - fle") 、 


7 0, vte (0, 1], 


在 上 式 中 令 1 一 0+, 得 
f'(x*iy — x*) 2 0, 
故 结论 (2) 成 立 . 
假设 (2) 成 立 , 在 (2) PS d=y--2"*, 再 考虑 方向 导数 的 正 齐 次 性 , 得 
f'(z;d) 80, Vd € cone(S — x^), 
而 cone(5 — z*) 的 闲 包 恰好 为 Ts(x*), 注意 到 方向 导数 f(x; d) KF a 是 连续 的 ， 


所 以 
f'(v;d) 20, Vd € Ts(z*). 


(3)=>(1) 假设 结论 (3) 成 立 , 对 任意 y € 5, BR 
y —zx* € Ts(x*), 


则 有 
0 « f'(z*;y — x*). 


另 一 方面 , 由 f(x) 的 凸 性 知 
f'(a*;y—2*) < fly) ~ f(a"), 
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于 是 
0 < f(y) — F(a"), 


2* 是 f(z) 的 最 优 解 , 结论 (1) 成 立 . 

(1) e (4) 由 于 结论 (1) 成 立 , 根据 定理 6.1.1, 存在 常数 c > 0, 使 得 z* 是 函数 
f(a) + cds (zx) 的 极 小 点 . 注意 到 f(x) + eds(z) ERR, 根据 凸 函 数 极 值 条 件 及 
Ods(z*) = Ng(2*), WA 


0 € O(f(x*) + ds(z*)) =Of (z*) + 0ds(z*) 
= Of (xz*) + Ns(z*), 
结论 (4) 成 立 . 如 果 结 论 (4) 成 立 , 则 
0 € O(f(x*) + ds(z*)), 
z* 是 f(z)-- ds(z) Æ R^ 上 的 极 小 值 , BH 
f(z*) = f(z*) + ds(x*) 
<f(a)+ds(z), Vx ER”. (6.1.5) 
ER (6.1.5) 中 考虑 ze S, 得 
f(a*) < f(x), VreS, 
结论 (1) 成 立 . 定理 得 证 . 
定理 6.1.3 给 出 了 约束 凸 规划 最 优 解 的 刻画 , 结果 具有 一 般 性 , 主要 适用 于 约 
束 没有 明确 解析 表达 式 问 题 . 
6.1.2 “不等式 约束 的 Fritz John 最 优 性 条 件 


下 面 考虑 问题 (6.1.1) AREA S 由 不 等 式 给 出 , 通过 引入 Lagrange HF, Æ 
立 相 应 的 最 优 性 条 件 . 
考虑 下 述 不 等 式 约束 问题 : 
min f(z), 
s.t. gi(z) <0, i=1,---,m, (6.1.6) 
其 中 f(z), gí(z), i = 1,…,m A R^ ERR. 
定理 6.1.4 (Fritz John 4&ÍT) Wat e R^ 为 问题 (6.1.6) 的 最 优 解 , 则 存在 
一 组 不 全 为 零 的 常数 A0, 和 1,… Am 2 0 满足 》 和 ; = 1, 使 得 


i=0 


0 € MOf (z*) + >》 Aiügi(z"), (6.1.7) 
i=l 
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Aigi(x*) 三 0. (6.1.8) 
证 明 引入 下 述 函 数 : 
F(z) = max{f(z) — f(x"), (2), 9m (2). (6.1.9) 


不 难 验证 

F(z) 20, Yre R", 
而 F(z*) = 0, M z* 为 F(z) E R^ 上 的 极 小 值 点 ,又 Fir) 为 凸 函数 , 根据 无 约束 
优化 最 优 性 条 件 , 有 0 € 9F(z*). 根据 次 微分 运算 法 则 有 


8F(z*) = cof Af(x*)Ul U 9g. (2*)) b, (6.1.10) 


icI(z*) 


其 中 
I(z*) = (ilgi(z*) = 0}. 
注意 到 , 5X (6.1.10) 右 端 项 可 表示 为 


bet + y MEE € Of (z*),£i € Ogi(z*), Ai 2 0, i € IH(z*), y Ài = 路 
iEI(z*)U{0} 


i€I(x*) 
TÉ 
0€ Ag0f(z*) -. M5 A8gi(z"), (6.1.11) 
icI(z*) 
A20, ic I(z*)U(0), $3 AsL (6.1.12) 
icI(z*)U(0) 
$ 


Ai = 0, i € {1,---,m}\I(a"*), 


EH 5X (6.1.11) 和 式 (6.1.12) 即 得 式 (6.1.7) 和 式 (6.1.8). 定理 得 证 . 

式 (6.1.7) 和 式 (6.1.8) 称 为 不 等 式 约束 凸 规划 的 Fritz John 最 优 性 条 件 , A i= 
0,1,---,m BRA Lagrange RTF, Aigi(z*) = 0,1 = 0,1,---,m 称 为 互补 松弛 条 件 . 满 
ÆR (6.1.7) 和 式 (6.1.8) 的 点 称 为 优化 问题 (6.1.6) 的 Fritz John 稳定 点 . 当 f(zx)， 
g(t), = 1,…,m 为 光滑 凸 函数 时 , 定理 6.1.4 即 为 通常 光滑 凸 规划 的 Fritz John 
条 件 . 

在 式 (6.1.7) 中 , 如 果 Ao Z 0, 此 时 可 假设 Ay = 1, 为 保证 ào z 0, 我 们 引入 下 
述 约 束 品 性 . 

约束 品 性 6.1.1(Slater 约束 品 性 ) FE ĉe R^, 使 得 g;(£) «0, i — 1,- 
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Slater 约束 品 性 的 含义 为 问题 (6.1.6) 可 行 域 中 有 内 点 . 
定理 6.1.5 (Kuhn-Tucker 4&fF) W z* € R^ 为 问题 (6.1.6) 的 最 优 解 , 如 果 
约束 品 性 6.1.1 成 立 , 则 存在 一 组 常数 X,… Am > 0, 使 得 


0 € Of (a*) + Y Ai8gi(x*), (6.1.13) 


i—l 
Aig(r*) —-0, ilm. (6.1.14) 


证 明 ”根据 定理 6.1.4, 式 (6.1.7) 和 式 (6.1.8) 成 立 , 为 证 明 式 (6.1.13) 和 式 
(6.1.14), 只 需 证 明 式 (6.1.7) 中 ào z 0. 用 反 证 法 . 假设 Ao = 0, 定义 Lagrange 函数 


L(x) = 5 Aigi(z), 
i-i 


其 中 A > 0,i=1,---,m. BR, L(z) Æ R” 上 的 凸 函数 , L(z*) 20, BR (6.1.7) 及 
Ao = 0 得 0€ OL(z*). 根据 无 约束 凸 优化 的 最 优 性 条 件 , z* 是 函数 L(z) 的 极 小 值 
A. AA, A > 0, i = 1,.…,m 不 全 为 零 , 根据 约束 品 性 6.1.1 有 


L(i) = Y A2) <0, 
i=] 
与 假设 矛盾 . 定理 得 证 . 
式 (6.1.13) 和 式 (6.1.14) 称 为 凸 规划 (6.1.6) 的 Kuhn-Tucker 条 件 , 满足 式 
(6.1.3) 和 式 (6.1.4) 的 点 称 为 问题 (6.1.6) 的 Kuhn-Tucker 点 . 当然 , 也 可 以 在 其 他 
约束 品 性 下 建立 问题 (6.1.6) 的 Kuhn-Tucker 必要 条 件 . 


6.1.3 ”线性 等 式 约束 的 情形 
考虑 下 述 含 线性 等 式 约 束 的 凸 规划 问题 : 


min f(z) 
s.t. alz =b, i=1,---,p, (6.1.15) 


其 中 f(c) AR” 上 的 是 函数 , ai,i = 1,…,p AR 中 的 向 量 , bim 1, up 为 常 
数 . 

这 里 需要 指出 的 是 在 凸 规划 中 等 式 约束 只 能 考虑 线性 函数 , 而 非 一 般 的 凸 函 
数 , 这 是 因为 当 等 式 约束 为 非 线 性 凸 函 数 时 , 约束 集合 已 不 再 是 凸 集 , 因而 对 应 的 
优化 问题 也 就 不 是 凸 规划 了 . 下 述 定理 建立 了 问题 (6.1.15) 的 Kuhn-Tucker 必要 
条 件 . 
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定理 6.1.6 (Kuhn-Tucker VERAF) B z* 为 问题 (6.1.15) 的 最 优 解 , MA 
在 常数 u, inp, 使 得 下 式 成 立 


0€ afte’) + Y na. (6.1.16) 
ic 
WEBB 记 
D= {ze Rr"lalzr=b,i=1,...,p}. 
由 于 ct 为 最 优 解 , 根据 定理 6.1.2, WA 
0 € Of (z*) + Np(z*). 
再 由 法 锥 定义 可 得 


p 
Np(2*) = {Some €R,i=1,--- 可 ， 


i=1 


故 式 (6.1.16) 成 立 . 定理 得 证 . 
定理 6.1.6 说 明 , 对 于 线性 等 式 约束 的 凸 规划 问题 可 以 直接 得 到 Kuhn-Tucker 
条 件 , 而 不 需要 附加 某 种 约束 品 性 . 


6.1.4 含 等 式 和 不 等 式 约束 的 情形 


考虑 下 述 优化 问题 
min f(z), 
s.t. g(t) <0, i=1, m, 
alx=bj;, j=1,...,p, (6.1.17) 


其 中 f(a), gi(z),i = 1, m, 为 R^ ERDAM, ajj = 1,…,p 为 R^ 中 向 量 ， 
bjj= 1l, 为 常数 . 

定理 6.1.7 (Fritz John 条 件 ) BE z* c R^ 为 问题 (6.1.17) 的 最 优 解 , 则 存在 
一 组 不 全 为 零 的 常数 No, Ns Am > 0, 11，…, Lp, 使 得 


m p 
0c oO f (z*) + 5D NOgi(x*) + X sjaj, (6.1.18) 
i=] j=l 
Aigi(z") = 0, t= 1,---,m. (6.1.19) 
证 明 ”考虑 下 述 辅助 优化 问题 : 
min F(z), 


st. afz=b, j=1,..,p, (6.1.20) 
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其 中 

F(z) = max (f(z) — f(x"), gv). 9m(z)}- 
显然 , 问题 (6.1.20) 是 一 个 含有 线性 等 式 约束 的 凸 规划 问题 , 由 于 z* 为 问题 (6.1.17) 
的 最 优 解 , 不 难 验证 x* 也 是 问题 (6.1.20) 的 最 优 解 . 利用 定理 6.1.4、 定 理 6.1.5 以 
Beh ph Be 

P(x) = max{f(x) — f(z*),gi(z).--:.9m()] 
次 微分 的 表达 式 , 即 得 式 (6.1.18) 和 式 (6.1.19). 定理 得 证 . 


6.2 Lipschitz 优化 的 最 优 性 条 件 


所 谓 Lipschitz 优化 是 指 目标 函数 和 约束 条 件 均 为 局 部 Lipschitz 函数 的 优化 
问题 . 在 非 光滑 优化 最 优 性 条 件 研究 中 ,由 于 使 用 了 非 光滑 分 析 工 具 , 因而 对 不 等 
式 约束 情形 处 理 相 对 容易 一 些 , 问题 的 难点 则 在 等 式 约 束 部 分 . 

6.2.1 ”不等式 约束 情形 
考虑 下 述 优化 问题 : 
min f(x), 
s.t. g(t) <0, i=1,---,m, (6.2.1) 
其 中 f(x), g(x),i=1,---,-m 为 R^ 上 的 局 部 Lipschitz 函数 . 
定理 6.2.1 (Fritz John RAF) W z* e R^ 为 问题 (6.2.1) 的 局 部 最 优 解 , 则 
存在 不 全 为 零 的 常数 Xo, 和,.… 2 0, 使 得 
0€ AoO0 f (z*) + Y Ai8gi(x"), (6.2.2) 
i=l 
Aigi(z*) —0, i=1, m. (6.2.3) 
证 明 设 
F(x) = max{ f(x) — f(2*), 91(2), +--+, gm(x)}- 
显然 , F(x) 是 R^ 上 的 局 部 Lipschitz 函数 , 且 在 zx 的 一 个 邻 域内 有 


于 是 z* 是 F(x) 的 局 部 极 小 值 点 ,根据 无 约束 问题 广义 梯度 形式 最 优 性 条 件 得 
0e 9F(z*). 根据 广义 梯度 运算 规则 , 有 


8F(z*) c co[0f(«*)U( U 9gi(a")) ). (6.2.4) 


icI(z*) 


- 130 - 第 6 章 BREF 


其 中 
I(x") = {ilgi(x*) = 0,2 = 1, Utt m], 


H 0 E OF(x*) RA (6.2.4) 得 
0c eo[af(z )U( U 


icI(x* 


n7). 
于 是 , 存在 不 全 为 零 的 常数 Ao, A > 0, d € I(a*), 使 得 


0€ Ag8f(z*)-- M. NOgi(z’), ie I(z*). (6.2.5) 


iel(ax*) 


» 
A =0, i€ (1, mI), 
即 得 式 (6.2.2), 而 此 时 式 (6.2.3) 也 成 立 . 定理 得 证 . 
定理 6.2.1 为 不 等 式 约束 Lipschitz 优化 广义 梯度 形式 的 Fritz John 最 优 性 必 
要 条 件 , Ai = 1,…,m BA Lagrange RF, WER (6.2.2) MA (6.2.3) 的 点 称 为 
Fritz John 点 . 当 f(x), gí(z),i = 1,…,m 为 连续 可 微 时 , 此 处 的 Fritz John 条 件 即 
为 通常 非 线性 规划 的 Fritz John 必要 性 条 件 . 


6.2. ”等 式 与 不 等 式 约束 情形 
考虑 下 述 同时 含有 等 式 与 不 等 式 约束 的 Lipschitz 优化 问题 : 


min f(x), 
s.t.gi() <0, i=1,---,m, 


其 中 f(x), g(x), i=1,---,m, h;(z),j =1,---,p AR” 上 的 局 部 Lipschitz 函数 . 
为 建立 优化 问题 (6.2.6) 的 最 优 性 条 件 , 我 们 需要 下 面 的 Ekeland 变 分 原理 . 
定理 6.2.2 (Ekeland 变 分 原理 ) — t 五 为 完备 的 度量 空间 , f(x) A E 上 的 非 

H FFERR, 给 定 ro € domf, 其 中 domf 为 f(x) 定义 域 , s > 0, 则 存在 z € E, 

使 得 

f(z) +ellzo — zl < f(x0), (6.2.7) 


f(z) < fæ) + ellz- ël, r£. (6.2.8) 
证 明 ”不 妨 取 ec = 1. 定义 下 述 已 到 互 中 子 集 的 集 值 映射 : 


F(x) = {yl f(y) + lla — vll < f(2))- 
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F(z). 下 面 证 明 
y € F(x) > F(y) C F(z). (6.2.9) 


如 果 z& dom, 此 时 F(x) = E, MOX (6.2.9) 成 立 . 以 下 假设 f(x) BUR DR ABL. 选取 
y € F(x) Al z e F(y), 根据 F(x) 的 定义 , A 


f(z) + lly — zll < fy), (6.2.10) 

f(y) + lz — vll < f(z). (6.2.11) 
将 式 (6.2.10) 和 式 (6.2.11) 相 加 并 利用 三 角 不 等 式 得 

f(z) + læ- zl < f(x), 


这 说 明 z € F(a), BGR (6.2.9) 成 立 . 
在 domf 上 定义 函数 v(y) 如 下 : 


v(y) = wae Fe (6.2.12) 


易 见 下 式 成 立 : 
liz — vll < f(x) — v(z), 


这 说 明 集 合 F(x) 的 直径 diam(F(z)) 满足 
diam(F(x)) < 2(f(x) ~ v(z)). (6.2.13) 
给 定 初始 点 zo, 定义 点 列 {zn} 使 其 满足 
Tni € F(zn), f(Tnt1) S vzn) +27”. 
根据 F(xw41) C F(zn) RA (6.2.9), 有 
v(En) € v(zu41). 
另 一 方面 , 因为 v(y) < f(y), 所 以 下 述 不 等 式 成 立 
v(zn41) € f(tn41) S v(tn) 27" < v(tng1) +27”, (6.2.14) 


进而 有 
0 € f(za41) ^ v(tng1) < 27, (6.2.15) 
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式 (6.2.13) 和 式 (6.2.15) 说 明 闭 集 F(an) 的 半径 收敛 于 0. 再 根据 Fi) C F(z;) 


及 空间 E 的 完备 性 , 有 
(Y Fs) = zr]. 


因为 € F(zo), 所 以 z 满足 式 (6.2.7). 另 一 方面 ， 
$€F(x) n20, 


于 是 有 
进而 有 
这 说 明 如 果 x Ac, M rg F(z), 于 是 


F(Z) < f(x) + lle — zll, 


XX (6.2.8) 成 立 . 定理 得 证 . 
Ekeland 变 分 原理 是 极 值 问题 中 的 基本 定理 , 有 多 种 等 价 形 式 . 


推论 6.2.1 ”在 定理 6.2.2 中 条 件 成 立 下 , 如 果 € > 0, > 0, zo 满足 f(zo) < 


inf f(x) + eà, 则 存在 z € E, 使 得 


F(Z) < f(zo), lzo-z|€A f (2) < f(x) + elle - zl. 


下 面 给 出 具有 等 式 与 不 等 式 约束 的 Lipschitz 优化 问题 Fritz John 条 件 . 
定理 6.2.3 (Fritz John KF) Wat c R^ 是 问题 (6.2.6) 的 最 优 解 , 则 存在 


一 组 不 全 为 零 的 常数 A > 0, i = 0,1,…,m, uj = 1,---,p, 使 得 
0 € Að f(z JEYA Ogi(z mate 
Aigi(z") -0, ilm. 
证 明 给 定 s > 0, 定义 集合 了 和 函数 F(x) 如 下 : 
T = {t= (ào .À, ur) RIP Io, A 2 0, [Ao A x) = 1). 
F(z) = max{ (ào Au)? (f(x) - f(2*) + & g(z), h(z))}, 
其 中 


AER”, WER", g(z) =(91(2),--+,gm(a))", A(z) = (h(s), 


(6.2.16) 


(6.2.17) 
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显然 , F(x) 在 点 z* 附近 是 Lipschitz 的 , HA 


F(a*) =e 
另外 还 有 

F(x) >0 
若 不 然 , 则 存在 y e R^, 使 得 

F(y) <0, 


故 
gy) <0, hy) <0, fly) < f(z"), 


故 x* 不 是 问题 (6.2.6) 最 优 解 , 与 假设 矛盾 . 于 是 有 
F(z*) < inf F(x) +e, 
根据 推论 6.2.1, 存在 ve B(z*, Ve), 使 得 对 任意 ze R^, 有 
F(u) < F(x) + velz — ul. 


B a = 是 函数 F(x) + Vell — ull 的 极 值 小 点 . 根据 广义 梯度 形式 最 优 性 条 件 及 
Alla — ull C B(0, 1), 则 有 
0 € OF(u) + B(0, V). 


为 估计 广义 梯度 OF (u), 我 们 首先 证 明 集 值 映射 
(t,£) > O,L(a,t) 
是 闭 的 (上 半 连 续 ), 其 中 
t= (Aou) L(z,t) = Aof(z) + Ag(x) + wh(z). 
注意 到 对 6,1; € T, 函数 
y > L(y, tı) — L(y, te) = (tr — t2)" (F(x), g(@), A(x) 


是 Lipschitz 的 , Llti — to| AHL Lipschitz 常数 , Ht L 3g f(x), g(x), h(x) 的 Lips- 
chitz 常数 ， 于 是 有 


Ox L(y, tı) C O, L(y, t2) * Lifti = t2||B(0, 1), 
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这 说 明 映 射 .L(y,t) 是 闭 的 . 由 于 F(u) > 0, 则 存在 唯一 的 tu c T, 使 得 式 (6.2.18) 
中 的 极 大 点 在 t 处 达到 , 则 有 
0 € &,L(u,t,) + B(0, VE). (6.2.19) 

注意 到 , 如 果 gi(w) < 0, WH ri = 0, $ e; — 0, 相应 地 wi — m, 而 {tu} 中 存在 子 
列 收敛 到 T 中 元 素 . 于 是 , 由 式 (6.2.19) 及 集 值 映射 (t,x) — ôL t) 的 闭 性 即 得 
定理 结论 . 定理 得 证 . 

定理 6.2.3 为 具有 等 式 与 不 等 式 约束 Lipschitz 优化 广义 梯度 形式 的 Fritz John 
最 优 性 必要 条 件 , Mi= 1,---,m A Lagrange HF, 满足 式 (6.2.16) MA (6.2.17) 
的 点 称 为 Fritz John 点 . 当然 , 在 一 定 约束 品 性 下 也 可 建立 相应 的 Kuhn-Tucker 条 
件 . 当 f(x), gi(x),i — 1,---,m, hj(z),j = 1,…,p 为 连续 可 微 时 , 此 处 的 Fritz John 
条 件 即 为 通常 非 线性 规划 的 Fritz John 条 件 . 


6.3 拟 可 微 优 化 的 最 优 性 条 件 
拟 可 微 优化 是 指 目标 函数 和 约束 函数 均 为 拟 可 微 函数 的 优化 问题 . 本 节 将 利用 
拟 微分 给 出 拟 可 微 优化 的 最 优 性 条 件 . 
6.3.1 “不 等 式 约 束 情形 
考虑 下 述 优化 问题 : 


min fo(x), 
st. filz) <0, i—1,-,m, (6.3.1) 
其 中 f(x),i = 0,…,m AR” 上 的 拟 可 微 函 数 . 
定理 6.3.1 设 xz* € R^ 为 问题 (6.3.1) 的 局 部 最 优 解 , WA 


- Safle) ceofafie)- — Y Hei eU}, 
ice (0) UI(x*) JE{OJULT (x*)\{i}} (6.3.2) 


其 中 
I(z*) = (ilfi(z*) = 0,2 # 0}. 
证 有 明 令 
F(x) = max (fo(x) — fo(z"), fi(x)]i = 1,---, m], 
显然 F(x) HEA ARM, F(z*) = 0, BE x 的 一 个 邻 域 内 有 


F(x) 2 0, 
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TE 
F(x) 2 F(z"), 
也 就 是 说 , z* 是 F(x) 的 局 部 极 小 点 . 根据 拟 可 微 函 数 极 小 点 性 质 , 有 
—8 F(z*) C 8F(z*). 


利用 拟 微分 计算 公式 直接 推导 知 , -OF(z*) AK (6.3.2) 433m, OF (z*) WH (6.3.2) 
右 端 , 故 式 (6.3.2) 成 立 . 命题 得 证 . 

A (6.3.2) 是 不 等 式 约束 优化 拟 微分 形式 的 一 阶 必要 条 件 , 但 是 它 应 该 属于 几 
何 形式 的 条 件 , 因为 在 此 条 件 中 没有 Lagrange HET. 尽管 如 此 , R (6.3.2) 确实 是 
光滑 优化 问题 Fritz John 条 件 的 推广 , 事实 上 , 对 于 光滑 问题 , 如 果 取 拟 微分 为 


afila) = {VA} Ofi(z)—(0. i-1.--,m, 


则 式 (6.3.2) 即 为 非 线 性 规划 的 Fritz John 条 件 . 
下 述 定理 给 出 问题 (6.3.1) 的 一 个 含有 Lagrange 乘 子 的 最 优 性 必要 条 件 . 
定理 6.3.2(Fritz John RHF) R x* e R^ 为 问题 (6.3.1) 的 一 个 局 部 最 优 
解 ， 则 对 任意 一 组 超 微 分 vi € Ofi(x),i = 0,1,…,m, 存在 一 组 不 全 为 零 依 赖 于 
v = (01,---, Um) 的 常数 (v) > 0,4 = 0,1,---,m, 使 得 


0 € Y Alw) + 8fi(z)), (6.3.3) 
1 一 0 
A(v)fí(z*)-0, i=1,---,m. (6.3.4) 


WEBB 记 
I(z*) = (i|fi(z*) 20,1 <i & m). 


根据 假设 , z* 为 问题 (6.3.1) 的 最 优 解 , 则 下 述 不 等 式 组 无 解 
fry <0, yeR", ie I(a*). (6.3.5) 


事实 上 , 若 不 等 式 组 (6.3.5) 有 解 , 记 g 为 它 的 一 个 解 , 则 5 为 问题 (6.3.1) 在 z* 点 
处 的 可 行 下 降 方向 , 这 与 z* 为 问题 (6.3.1) 的 最 优 解 相 矛盾 . 根据 拟 微分 定义 易 见 ， 
对 于 vE Ofi(x) 有 
veah) u'y + viy > ue dfn") uty + ue. vy 
-f(zy, y ER", ie l(z*), 
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于 是 不 等 式 组 (6.3.5) 无 解 意味 着 下 述 不 等 式 组 : 


max SUM tofy <0, yc€R^, ie (0) J(z*) (6.3.6) 
ucofi;(c* 


无 解 . 等 价 地 ,下 述 优 化 问题 : 


min z, 


s.t. ulTy—-z«0, ie (0JUI(z*) (6.3.7) 


max 
wuEQfi (7*) +0; 
的 最 优 值 为 零 . 问题 (6.3.7) 为 RH 上 的 凸 规划 , 其 中 (y,z) e ReH 为 变量 . 由 问 
题 (6.3.7) 的 最 优 值 为 零 , 则 存在 y € R^, 使 得 (9,0) e R 为 其 最 优 解 . 直接 计 
算 次 微分 得 
Ozl(y,z)=(9,0) = (0,---,0, 1), 


T * 。 * 
OC cos, y — 2)\(y,2)=(9,0) = (Ofi(x*) + i,-1), ie (0) Uf(x*). 


根据 凸 规划 的 最 优 性 条 件 , 存在 不 全 为 零 的 Molv), (v) 2 0,4 € (0) UT(z*), 使 得 


0€ Ao(v)8z|ty, zy (g,0) t 5 Ai(v)O( cafe") uly m 2)|ty,z)— (9,0) 
ic (0)UI(z*) «coste kiwi 
=Ao(v)(0,---,0.1)+ M. ANBS) + vi, 1) 
ic (0yUI(r*) 
-( Y] AMO +u) i- 和 aw) 
ic (O)yUI(x*) i€{O}UI(x*) 
所 以 有 
0€ > ， Ailv)(OFi(a*) +v), (6.3.8) 
ic (0)UI(z*) 
ww- >》 X(v)-0. (6.3.9) 
i€{O}UL(ax*) 
因为 


Ao(v), (v) 20, ie {O}UT(x*) 
不 全 为 零 , A (6.3.9) 意味 着 Ao(v) 4 0(8 ll, 


ic (0]UI (z*) 
进而 
Ai(v) 20, i € (0]JI (z^), 
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这 与 N(oj, (v) € {0}UI(z*) 不 全 为 零 矛 盾 ) 再 由 式 (6.3.9) 易 见 


Ai(v) £ 0, 
ie(0)UL(z*) 
则 
Ai(v),i € (0) UIF") 
不 全 为 零 . 令 


Ai(v) 20, ie {1,---,m}\I(2*), 


则 由 式 (6.3.8) 即 得 到 所 证 结论 . 定理 得 证 . 
定理 6.3.2 给 出 的 最 优 解 条 件 较 定理 6.3.1 所 给 出 的 更 接近 于 Fritz John KEE, 
事实 上 可 以 证 明 两 者 是 等 价 的 . 


6.3.2 ”具有 等 式 与 不 等 式 约束 情形 
考虑 下 述 含 等 式 与 不 等 式 约束 条 件 的 优化 问题 : 


min fo(x), 
s.t. fi(z) <0, i=1,---,m, 
Aj(z)=0, j=1,---,p, (6.3.10) 


其 中 f,(x),i = 1,---,m 和 (2),j =1,---,p BR” 上 的 拟 可 微 函数 . 
给 定 zc R^, 引入 下 述 两 个 锥 : 
V(x) -b ER")A 20,24 > £, £k Æ T, hj(£k)}=0,1 <j <p, 


Lk T 
Ilex — zl 


Y7) = {y € R^|h, (ayy) =0,7= 1..…,p). 


> yo Vy jw). 


引 理 6.3.1. ”假设 z* € R^ 为 问题 (6.3.10) 的 最 优 解 , f(z),i = 1,---,m Æ 2* 
处 是 一 致 方向 可 微 的 , T(z*) = y(z*), Wy = 0 是 下 述 优化 问题 的 最 优 解 : 


min F'(z*; y), 
st. f (x*5y) 20, j= 1,.…,p, (6.3.11) 


其 中 


F(x) = max { folz) — fo(z"), filx)|é € I(z*)) , Ha") = {ilfi(2*) = 0,1 <i < m). 
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证 明 用 反 证 法 .假设 y = 0 不 是 优化 问题 (6.3.11) 的 最 优 解 ,于 是 存在 
y c R^ 满足 gl = 1, 使 得 
F'(z*;g) « 0, 
hi(x*;%) = 0, j= 1,..…,p, 
这 说 明 g € y(z*), 由 y(z*) = 了 T(z*), WA g € F(z*) 根据 F(z*) 的 定义 , 存在 序列 
(zi), 使 得 


Tk ` x", hj(zy) = 0, j= 1,.…,p, Yk = 


4 
ty = ||xk — 2" |, 
则 有 


Tk = m" kk, 
利用 f(z),i — 1,…,m 在 x* 的 一 致 方向 可 微 性 , 直接 推导 得 
Silar) — fií(x*) — fi(a* + txyk) — fila") 


tk tk 
 fi(z*iy) 
< max [fi(z*;g)li € {0} U Z(z*)] 
= F'(z'gy)«0, Vie {0} UI(z*), 


故 足 够 大 时 有 
Fite) < fiz"), Vi € {0}UI(z’). 
AA 
hj(te) =0, g=1,---,p, 

这 与 z* 为 问题 (6.3.10) 的 最 优 解 矛盾 . 引 理 得 证 . 

下 面 利用 Demyanov 差 给 出 含 等 式 与 不 等 式 约束 条 件 拟 可 微 优化 的 一 种 Fritz 
John 条 件 形式 的 最 优 性 条 件 . 

定理 6.3.3 (Fritz John 条 件 ) ”假设 z+ c R^ 为 问题 (6.3.10) 的 最 优 解 ， 
fila), = 0,1, m 和 h;(z),j = 1,…,p TE r 处 是 一 致 方向 可 微 的 , Ptz*) = 
Y(z*), 则 存在 不 全 为 零 的 常数 Xi > 0,i = 0,1,---,m, uj = 1,…,p, 使 得 下 式 成 立 


0€ Y A(8fi2*)-(-0fi(z"))) + V, uj(Bh;(z*)- (—Óh;(a*))), (6.3.12) 
i=0 j=l 


Aifi(z')-0, t=1,---,m. (6.3.13) 
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WEBB ”根据 引 理 6.3.1, x* 为 问题 (6.3.10) 最 优 解 , 则 y = 0 是 问题 (6.3.11) 的 
最 优 解 . 由 于 
F'(z*; y) = max (fi(z*:9)fi € (0)UI(z*)] , 
易 见 , (y, z) = 0 是 下 述 问 题 最 优 解 : 
minz 
s.t. fi(x*;z) <0, ie {0} Ul (2*), (6.3.14) 
hi (x*iy) = 0, j=1,---,p, 


其 中 (y,z) e R^" 是 变量 . 拟 可 微 函数 的 方向 导数 关于 方向 是 两 个 凸 函数 的 差 , 因 
此 是 局 部 Lipschitz 的 , 所 以 优化 问题 (6.3.14) 中 涉及 的 函数 都 是 局 部 Lipschitz 函 
数 . 根据 Lipschitz 优化 中 广义 梯度 形式 的 Fritz John 条 件 , 存在 一 组 不 全 为 零 的 
常数 

ioà 20, ie(0)JUI(z), mj j-—l-5p 
使 得 


p 
0 € Xo8zloa=o+ — 9. — NOSE y) — z)hgy-o + X ðh, (z^; y)L a) -o- 


ie(0)uT(z*) j=l 


(6.3.15) 
根据 Demyanov 差 的 性 质 , 由 式 (6.3.15) 可 得 
0€À(0,1)7 DO  X(8fía")-(-fi(x")), -1) 
ic(0)UI(x*) 
+ 5 uj (Bh;(z*) - (-Óh;(a*)),0), 
进而 有 
0€ JO AOfi(a*)=(-Ofi(2"))) + Y uj(Ohj(a*)=(—Ohj(2*))), (6.3.16) 
ic (0O)UI(x*) j=l 
b= M X (6.3.17) 
ic (0)UI(x*) 


3X (6.3.17) 说 明 
As $€(0lI(z, wy, j=1, p 
不 全 为 零 (否则 式 (6.3.17) 意味 着 和 = 0), 取 


ài=0, Vic {1,---, m} \M(z*), 
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这 样 就 得 到 式 (6.3.12) 和 式 (6.3.13). 定理 得 证 . 

如 果 只 含 不 等 式 约束 条 件 的 拟 可 微 优 化 问题 , 则 在 其 Fritz John 条 件 建立 中 ， 
相关 函数 的 一 致 方向 可 微 性 条 件 可 以 去 掉 . 

定理 6.3.4 Wort € R^ 为 不 等 式 约束 问题 (6.3.1) 的 局 部 最 优 解 , 则 存在 不 
全 为 零 的 常数 A; > 0,i =0,1,---,m, 使 得 下 式 成 立 


0c 》 Xf") ~ (-Ofi(z"*))), (6.3.18) 
i=l 
Mfi(z*) =0, i=1, m. (6.3.19) 
WEBB ”zx* 为 问题 (6.3.1) 的 最 优 解 , 按 定 理 6.3.1 的 证 明 有 下 述 不 等 式 ; 
fi(z*sy) <0, ie (0) JI(z*) 
无 解 , 进而 下 述 优化 问题 : 


min z, 
st. fi(z*;y)—2z<0, ie(0)Ul(z") 


最 优 值 为 零 , 类 似 于 定理 6.3.3 的 证 明 即 可 得 到 式 (6.3.18) 和 式 (6.3.19). 定理 得 证 . 

利用 Demyanov 差 给 出 的 最 优 性 条 件 不 但 含有 Lagrange RF, 而 且 乘 子 也 不 
再 依赖 于 具体 的 超 微分 , 这 是 目前 拟 可 微 优 化 中 最 接近 光滑 优化 Fritz John 条 件 形 
式 的 一 种 最 优 性 条 件 . 


BTS ” 非 光 滑 优 化 算法 


所 谓 非 光滑 优化 算法 , 是 指 基 于 某 种 广义 微分 (例如 凸 函数 次 微分 、 局 部 Lips- 
chitz 函数 的 广义 梯度 等 ) 理论 所 构造 、 设计 的 求解 非 光 滑 优化 的 算法 , 而 不 包括 非 
线性 规划 中 的 直接 法 (例如 单纯 形 法 、 坐 标 轮换 法 、 随 机 搜索 法 等 ) 到 目前 为 止 ， 
针对 一 般 形式 非 光滑 优化 的 算法 还 仅仅 是 “概念 性 算法 " 而 非 “ 可 执行 算法 ”, 这 是 
因为 在 非 光滑 优化 算法 中 要 求 在 每 一 迭代 点 处 能 够 计算 到 所 涉及 函数 次 微分 中 的 
一 个 元 素 , 以 确定 迭代 (TE 方向 , 对 于 一 般 的 非 光滑 函数 , 这 一 点 是 无 法 做 到 的 . 
本 章 介绍 非 光滑 优化 的 算法 , 我 们 仅 限 于 无 约束 问题 . 


71 FEJA 
7.1.1 局 部 Lipschitz 函数 的 下 降 方 向 
考虑 无 约束 优化 问题 
min f(x), (7.1.1) 


rcR^ 
其 中 f(c) 是 R^ 上 的 实 函 数 . 经 典 的 求解 无 约 东 优化 问题 (7.1.1) 算法 的 迭代 公式 
如 下 : 
Choi = Tk + Àkdk, (7.1.2) 
其 中 d, CR" 是 搜索 方向 , 通常 要 求 它 是 目标 函数 的 下 降 方向 ; A 是 步 长 , 通常 要 
求 满足 某 种 搜索 准则 , 例如 , 在 精确 搜索 中 和 要 满足 : 


f (te + Akdy) = min f(x. + Adi). (7.1.3) 


TBE (7.1.2) 产生 的 点 列 期 望 收敛 于 问题 (7.1.1) 的 最 优 解 , 至 少 应 该 是 它 的 一 个 
稳定 点 . 

在 上 述 算法 框架 中 , 一 个 关键 的 问题 是 如 何 选取 搜索 方向 du. 当 f(z) 是 连续 
可 微 函数 时 , d, 可 选取 为 负 梯 度 方向 , 即 


d, = -Vf (zi), 


这 就 是 通常 的 最 速 下 降 方向 , 如 果 此 时 一 维 搜索 按 式 (7.1.3) 给 出 的 规则 , 则 相应 的 
迭代 法 为 最 速 下 降 法 . 然而 , 对 于 非 光 滑 情形 , 如 果 6 是 某 种 次 微分 的 一 个 元 素 , 一 
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般 来 讲 方向 d = -- 并 不 是 下 降 方向 , 更 不 用 说 是 最 速 下 降 方向 了 . 52, 即 
使 能 够 找到 最 速 下 降 方 向 , 相应 的 非 光滑 优化 最 速 下 降 法 也 无 法 保证 收敛 性 . 然而 ， 
下 述 定理 给 出 了 一 个 利用 广义 梯度 确定 局 部 Lipschitz 函数 下 降 的 方法 . 

定理 7.1.1 设 f(z) Æ R” ERX Lipschitz 函数 , WR 0 ¢ of (x), WHE 
€ € Of (x) WA: 


IE] = mim el (7.1.4) 


使 得 d= -是 f(x) 在 z 点 的 一 个 下 降 方向 下 . 
证 明 ”由 于 广义 梯度 Of (x) ERE, MERE E c Of (x) WER (7.1.4). 又 
Of (x) 是 凸 集 , REIHER E cafe) Al A € (0,1), A 


£+A(E — €) € Of (a). 
进一步 , 由 式 (7.1.4) 得 
IE 二 AGE 一 本 | = HEN? + 2A(E -ETE + a7 HE — El? > nel, 


TR 、 
(€-O7ES-SIE-EI?, VE € AF(z). 


在 上 式 中 令 和 一 0+, 得 
IEI? < ETE, VE e Of(z). (7.1.5) 


根据 中 值 定理 , 存在 o! e (r-i, 使 得 
f(z - 8) - f(x) e DHE). (71.6) 

根据 广义 梯度 的 上 半 连 续 性 , 对 充分 小 的 + 有 

0f) € 0f) + 5 HENBO, 1), 
于 是 由 式 (7.1.5) MR (7.1.6), 对 任意 6 € 9f(z') 有 

fa < Ill + sé = SIE. (7.1.7) 
结合 式 (7.1.6) MR (7.1.7), 对 充分 小 的 上 有 

f(z - Ë) - f) < - lel? 

这 说 明 -是 f(e) 在 点 z 处 的 下 降 方向 . 定理 得 证 
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定理 7.1.1 说 明 , 广义 梯度 集 到 原点 最 近 点 的 负 方向 是 一 个 下 降 方向 , 一 般 情 
况 下 它 不 是 最 速 下 降 方 向 . 有 时 也 称 其 为 广义 最 速 下 降 方向 . 基于 定理 7.1.1, 我 们 
可 以 给 出 求解 局 部 Lipschitz 函数 f(x) 极 小 化 的 广义 最 速 下 降 方法 . 

算法 7.1.1 

步 1. 给 定 初始 点 ro € R”, > k=0; 

2b 2. K &t ef (xe), WA lE = chit lel, 车 & =0, 则 停止 ; 否则 转 步 3; 

步 3. $ di = 一 对 RAK Ar 满足 f (zk 十 Xedk) = min f(za + Adz); 

2p 4.79 k41 = Tk + Akdk, k = k +1, GH 2. 

尽管 上 述 算法 确实 是 一 个 下 降 算 法 , 但 是 收敛 性 还 是 无 法 保证 ， 当 然 ， 如果 
f(a) 为 连续 可 微 时 , 算法 7.1.1 即 为 经 典 的 最 速 下 降 法 . 


7.1.2 凸 函 数 下 降 方向 的 计算 


X f(z) AR 上 的 凸 函数 , dA f(z) 在 点 z 的 下 降 方向 , 则 存在 足够 小 的 
t» 0, 使 得 
f(x + td) < f(x), 


而 另 一 方面 根据 次 微分 定义 , 有 

f(x td) 2 f(a) +té"d, YE € üf(a), (7.1.8) 
进而 有 

f(x td) > f(x) +tf’ (a; d). (7.1.9) 
结合 式 (7.1.8), 式 (7.3.9) 和 关系 式 
f(z + td) < f(z) 
知 , d e R” 为 凸 函数 f(z) 在 点 x 的 下 降 方向 , 等 价 于 
f (2; d) « 0, 


也 等 价 于 
Ed <0, vt €Of(z). (7.1.10) 


下 面 基于 式 (7.1.10) 对 下 降 方 向 的 刻画 计算 凸 函 数 f(x) 在 非 极 小 点 z 的 一 个 
下 降 方向 . 假设 已 经 得 到 fic) 在 点 x 的 天 个 次 微分 , 即 


£1,°°+5&k € Of (x), 


Sk = co{é€1,: tI Ex}, 
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BR S, C Of(z). HAN f(z) TE x 点 的 下 降 方向 , 则 必 有 


0> f'(z;d)— max ¿Td 
f'(z; d) Der € 


2maxé£ld > max £7d 
> max g > max 6 ’ 


因此 , 下 降 方向 d 必需 满足 
&d<0, i=1,---,k. 


非 光滑 优化 算法 


(7.1.11) 


首先 求解 线性 不 等 式 组 (7.1.11), 记 d 为 它 的 解 , 通过 线 搜索 检验 d 是 否 为 下 降 方 


向 . 如 果 d 不 是 下 降 方向 , 则 必 有 上 > 0, 使 得 
f(x) 2 f(x + td). 
根据 凸 函数 次 微分 的 定义 , 对 于 & € Of (a+ td) 有 
f(z) 2 f(x + td) + GF (x — x — td) 
= f(x + td) — t£fd, 


于 是 £d > 0. 由 于 Of(z 4 td) AR, (6) 必 有 一 个 收敛 子 列 , 不 妨 记 为 (6) KG, 


记 
& > E, t 07, 
根据 次 微分 的 上 半 连 续 性 必 有 
& caf) (AX xtd 2). 
由 于 
&d > 0, 


TÉ 
td 2 0. 


至 此 , 我 们 找到 了 Of (cz) 的 一 个 元 素 &*, 它 不 满足 式 (7.1.11), dd 
€k41 = E", 
将 其 加 到 S, 中 得 
Sk+1 = Co{€1,.., ép+1}, 


然后 重复 这 一 过 程 , 期 望 得 到 函数 f(x) 在 点 z 的 一 个 下 降 方 向 . 
下 面 给 出 计算 f(x) 在 点 x 下 降 方向 算法 的 具体 步骤 
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算法 7.1.2( 计 算 凸 函数 下 降 方向 ) 
步 0. 给 定 z € R^, 计算 f(x) ME e0f(x), > k=l; 
步 1. € S, =cofls,-+-, Ee}, 求解 下 述 优化 问题 : 


min{||dl|2| — d € Se}, (7.1.12) 


id dy 为 它 的 解 , 如 果 di = 0, z 是 f(x) 的 极 小 点 , 无 下 降 方向 , 停止 ; 否则 转 下 一 
步 ; 

步 2. 对 方向 di 进行 线 搜 索 , WERA t > 0, 使 得 f(z + td) < f(x), 停止 , dk 
是 下 降 方向 , 否则 转 下 一 步 ; 

步 3. & t— 0+, 确定 Ery E Of (x), 使 得 EF, d, 20, kk 1, EE 1. 

根据 前 面 的 讨论 知 , 步 3 中 的 & 是 可 以 得 到 的 . 另 一 方面 , (7.1.12) 是 一 个 二 
次 规划 问题 , 因此 , 如 果 在 一 点 处 可 以 计算 到 f(z) 的 一 个 次 微分 , 算法 7.1.2 是 可 
实现 的 . 下 述 定理 说 明 利 用 算法 7.1.2 可 在 有 限 步 计算 到 f(x) 的 一 个 次 微分 . 

定理 7.1.2 WR PE f(z) 的 极 小 值 点 , 则 在 算法 7.1.2 中 必 存 在 有 限 数 
k, 使 得 


f' (a; dx) < 0. 
证 明 ”我 们 证 明 这 样 一 个 事实 : 设 {zk} 和 {y} WR 中 两 个 点 列 , 满足 
(xj m Tk+1) Yk 2 lux ll? kzl, j=l: «k, (7.1.13) 


如 果 {zr} AF, 则 


yk 20, k- oo. 
对 式 (7.1.13) 应 用 Cauchy-Schwarz 不 等 式 得 
llyell < lzy- zeil; k21, j=1,..,k. 
如 果 y, — 0 不 成 立 , 则 存在 常数 5 > 0 和 {yk} PEI, 不 妨 记 为 {ys} BS, 使 得 
0<6 芭 jell < lx; — zii ll. 


由 x. 的 有 界 性 , 则 存在 收敛 子 列 , 在 上 式 中 再 选取 {zx} 的 收敛 子 列 , 于 是 上 式 
右 端 项 趋 于 零 , 得 到 矛盾 , My, 一 0. 
在 算法 7.1.2 P, —d, 为 0 BS, 上 的 投影 , 记 —d, = &, 根据 第 1 章 点 到 凸 集 
投影 性 质 , 有 
ETE > E&I, EE Se. (7.1.14) 
再 根据 算法 7.1.2 中 步 3, 得 
a6 <0. (7.1.15) 
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在 式 (7.1.14) 中 , 选取 
E= j=1, k, 
于 是 有 
CE 2 lé? J = 1,---,k, (7.1.16) 
BAK (7.1.5) 和 式 (7.1.6), 得 到 
(65 — Ger) & 2 ll&l?, jou. 
ER (7.1.13) 中 , > 
Tk = Ek, Yk = Ek, 
注意 到 (6). 的 有 界 性 , 利用 前 面 得 到 的 结论 有 
bi - 0. 

再 由 & c Of (x) 及 集 值 映 射 9f(z) 的 上 半 连 续 性 , 则 有 

0 € Of (x), 


与 z 不 是 f(z) 的 极 小 值 点 . 定理 得 证 . 
相对 来 讲 , 算法 7.1.2 给 出 的 方法 , 要 较 广义 最 速 下 降 方 向 容易 实现 , 因为 它 不 
需要 知道 整个 次 微分 集合 , 而 只 需 在 每 一 点 处 计算 到 一 个 次 微分 即 可 . 


7.2 WO B CES RETE 


本 节 在 f(z) 为 凸 函数 时 给 出 求解 无 约束 优化 (7.1.1) 的 一 个 算法 , 称 为 次 梯度 
法 , 它 是 非 光滑 优化 最 早 和 最 基本 的 算法 之 一 . 


7.2.1 “算法 步骤 


首先 给 出 解 问题 (7.1.1) 算法 的 具体 步骤 . 
算法 7.2.1( 次 梯度 法 ) 
步 0. XEBOR (A), 满足 Ak > 0, As > 0(k 一 oo), er =+00, 给 定 


k=0 
zo € R^, $ k =0; 


步 1. 计算 & € Of (xx), E & = 0, 则 停止 ; 否则 转 步 2; 


步 2. an no es Eo eel Bep 1. 


7.2 ”出 规划 的 次 梯度 法 .147. 


从 算法 步骤 可 以 看 出 , 次 梯度 法 迭代 简单 , 比较 容易 实现 , 在 每 一 迭代 点 处 只 
要 能 够 计算 到 目标 函数 次 微分 中 一 个 元 素 就 可 以 . 另 一 方面 , 次 梯度 法 不 需要 线 搜 
索 , 步 长 和 4 事先 给 出 , 只 要 满足 条 件 
Àk >0, A, 50, kao, Y = +00 
k=0 


即 可 . 在 这 里 , 条 件 


Ak 一 0， 天 一 oo 


是 要 使 点 列 {zk} 收敛 所 必需 的 , 条 件 
Y Ak = +00 
k=0 


是 要 使 点 列 {zk} 全 局 收敛 所 必需 的 . 次 梯度 法 甚至 不 是 下 降 算法 , 因为 -< 并 


je 
不 一 定 是 四 函数 f(z) 的 下 降 方向 . 
作为 最 早 提出 的 非 光滑 优化 算法 , 次 梯度 法 有 许多 不 足 之 处 , 一 是 收敛 速度 慢 
二 是 没有 给 出 停止 准则 


7.2.0 ”收敛 性 分 析 


首先 给 出 一 个 收敛 性 中 有 用 的 命题 . 
命题 7.2.1 ”假设 {zk} 为 算法 7.2.1 产生 的 点 列 , 如 果 


zy € S" = {x € R'|f(z) = min, f(y)} 


则 对 任意 z* € S*, & € 8f (re), 必 存 在 常数 T, > 0, 使 得 


" ipe -at| < lær = z", vA € (0, Ta). (7.2.1) 
证 明 ”直接 计算 得 
"E ipe -a*l = Ile cB je pen — ax) + M. 
5 2 
à< -gE E ~ Tk), 


则 式 (7.2.1) 成 立 . 注意 到 


Ek € Of (xx), Tk ¢ S*, 
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根据 凸 函 数 次 微分 定义 得 
EF (z^ — zx) < f(a*) 一 zk) < 0. 
3 2 
Tk = "jeje ( - c") 


易 见 T, > 0, 此 时 式 (7.2.1) 成 立 . 命题 得 证 . 
下 述 定理 给 初次 梯度 法 的 一 个 收敛 性 结果 . 
定理 7.2.1 RHA (7.1.1) 的 解 集 


S* = {x € R^|f(z) = min F(y)} 
非 空 且 有 界 , 则 算法 (7.2.1) 产生 的 点 列 {zk} 有 下 述 性 质 : 
jim, ds» (zk) = 0, 
其 中 do () 为 距离 函数 . 
WEBB 记 
f = min f(z), 
根据 f(z) 的 凸 性 , 必 存 在 连续 函数 5 (e), 使 得 
f (zk) < f' e 


对 任何 满足 
ds* (Tk) < 6(e), 


的 zx 成 立 . 对 每 个 ,定义 
ex = fn) - f* 20. 
如 果 e, > 0, WA 
ize: — 2°? s — al + Ak 22 (n = n) ie 


= |, — z*l? + A2 — 26 (ex) Ax 

e) e ES 
WEell — WExll 

<S [zy — zl? + X2 — 26 (x) Ax, 


—2Ak (s —z* 一 6( 


(ds- (za.1))? — (ds-(z&)? < 一 Xe(25 (ex) — Ar). 


(7.2.2) 


(7.2.3) 


(7.2.4) 


(7.2.5) 


(7.2.6) 


(7.2.7) 


7.3 凸 规划 的 割 平 面 法 -149 - 


定义 5(0) = 0, 则 上 式 对 于 一 切 都 成 立 . 对 式 (7.2.7) 两 边 求 和 得 


jim inf ô (ex) = 0, . (7.2.8) 
所 以 
jim inf ds, (zx) = 0. (7.2.9) 


如 果 式 (7.2.2) 不 成 立 , 则 必 存 在 正常 数 — 0 和 无 穷 多 个 &, 使 得 


ds, (Tk41) > ds, (Xk), (7.2.10) 
Ek > Ó. (7.2.11) 

由 式 (7.2.10) 和 式 (7.2.7) 知 
26(ek) < Àk (7.2.12) 


对 于 充分 大 的 上 成立. AX (7.2.11) 与 式 (7.2.12) 相 矛 盾 , 这 说 明 式 (7.2.2) 成 立 . 5E 
理 得 证 . 
7.8. CARH EA 


本 节 在 f(x) 为 凸 函 数 时 给 出 求解 无 约束 优化 (7.1.1) 的 割 平 面 法 算法 , 它 也 是 
非 光滑 优化 较 基本 的 算法 之 一 . 
对 于 凸 函数 f(x), 有 


f(z) = max (f(y) +€ (z — y)). 


= max 
ycR* £€Of(y) 
所 以 , R f(x) 的 极 小 点 就 等 价 于 求解 问题 : 
min v, 
st. f(y) -£t(z-y) «v, VEE Ofly), yeR". (7.3.1) 
假设 zi, i = 1,，……, 大 是 已 得 到 的 和 迭代 点 , 在 第 k 次 迭代 中 求解 问题 : 
min v, 
s.t. f(z) +E (z —a3) Sv, i-1,-,k. (7.3.2) 


显然 , 问题 (7.3.1) 是 一 个 线性 规划 , 且 是 问题 (7.1.1) 最 优 解 得 的 一 个 近似 , 重复 这 
个 过 程 就 是 极 小 化 凸 函 数 的 割 平面 法 . 
下 面 给 出 算法 的 具体 步骤 . 
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算法 7.3.1( 割 平面 法 ) 

步 1. 给 定 初始 点 z1 € 5, S 是 一 给 定 的 凸 多 面体 , > k=l; 
步 2. 求 & € Of (zx), 车 & = 0, 则 停止 ; 否则 , 转 步 3; 

步 3. Æ S 上 求解 问题 (7.3.1), 即 


min v, 
s.t. f(z} + F(a —a2;) Sv, i=1,--:,k, 
TES, 


HRM (mii 0k41), $ k= kl BH 2. 

在 算法 7.3.1 中 , 每 一 次 迭代 增加 一 个 约束 , 从 几何 上 看 , 是 用 一 个 超 平面 将 5 
中 不 包含 解 的 部 分 割 掉 . 这 在 算法 具体 实现 上 将 无 限 地 增加 约束 , 因此 计算 量 很 大 ， 
但 它 的 收敛 性 却 是 可 以 保证 的 . 
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求解 非 光滑 方程 组 , 特别 是 它 的 牛顿 法 , 是 20 世纪 90 年 代 初 发 展 起 来 的 . 这 
种 方法 产生 的 原因 一 方面 是 由 于 非 光滑 分 析 理 论 不 断 完善 , 另 一 方面 是 由 于 它 可 有 
效 地 求解 互补 以 及 变 分 不 等 式 问题 . 本 章 将 介绍 求解 非 光 滑 方程 组 的 牛顿 法 及 在 非 
线性 互补 中 的 应 用 . 


8.1 半 光 滑 函 数 及 性 质 


对 于 一 般 的 Lipschitz 函数 , 牛顿 法 的 收敛 性 无 法 保证 , 为 此 引入 Lipschitz R 
数 类 中 的 一 个 子 类 一 一 半 光 滑 函 数 . 

定义 8.1.1 设 H(z) 为 R" 到 Rm 上 的 局 部 Lipschitz 函数 , 若 对 任意 d € R^, 
下 述 极限 
Vd (8.1.1) 


lim 
V€OH(z-4td!) 
d'—d,t—0t 


总 存在 , 其 中 55(z) 为 A(z) 的 广义 Jacobi, WEK H(z) Æ z 点 是 半 光 滑 的 . 
定理 8.1.1 € H(z) 为 R^ 到 Rm 上 的 局 部 Lipschitz 函数 , 如 果 极 限 


Vd (8.1.2) 


lim 
VEOH (xtd) 


总 存在 , 则 H(x) 的 经 典 方向 导数 存在 , HA 


H (sd) = im ZEHA -HE jm va (8.1.3) 


(o 40t t VEH (a+td) 


证 明 H(z) 的 Lipschitz 性 质保 证 差 商 
H (x + td) — H(z) 
t 
AR, 因此 它 必 有 极限 点 , 设 ! 是 它 的 一 个 极限 点 , 则 存在 数列 (1,5, 使 得 
t= tim Ze thd) -H E) 
ti 0+ t; 
下 面 证 明 ! 等 于 式 (8.1.2). 根据 广义 Jacobi 形式 的 中 值 定理 知 


H(z+tid) - H(z) 
ti 


€ co0H (|z, x + tid])d. 
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对 每 个 i, 由 Caratheodory 定理 (定理 1.1.3), 存在 
the (0,t)], A20, V*eóàH([r zd td), k=0,1,...,m, 


满足 


使 得 
LIU id) 一 Mw 


序列 {tk} Al QE) 有 界 , 则 在 指标 集 (i) 中 存在 子 列 不 妨 记 为 {i} 本 身 , 使 得 


to 30t, AES, ioco, k=0,1,...,m. 
显然 
M>0, k=0,1,---,m, 
Ae . 
SEES 
k=0 
直接 推导 得 
. A(x+td) 一 kurk 
(= Jim SERA) lin, Soa 


m 


m 
一 : ky k 
p jim V d= ~ (> m veon cun Vd 


k=0 
= vesi ay Vd, 
这 说 明 式 (8.1.3) 成 立 . 定理 得 证 . 
引 理 8.1.1 W H(z) Aj R^ 到 Rm 上 的 局 部 Lipschitz 函数 , 如 果 A(x) 在 > 
点 是 半 光 滑 的 , 则 对 任意 de R^, FE V € OH (2), E H (x; d) = Vd. 
WEB] ”由 于 H(z) 在 z 点 是 半 光 滑 的 , 根据 定理 8.1.1 有 


H’ (z;d)— Vd= lim Vd. (8.1.4) 
veste VEƏH(z+tkd) 
二 一 0 十 


由 V. 的 有 界 性 及 极 值 映 射 68 (x) 的 上 半 连 续 性 , 则 存在 V € OH (x), 使 得 {Ve} 
的 一 个 子 列 收敛 于 V, 由 式 (81.4) 得 


H' (a; d) = Vd. 


8.1 3OGBIESUR TER “153 


引 理 得 证 . 

定理 8.1.2 Wt H(z) X R^ 到 Rm 上 的 局 部 Lipschitz 函数 , Dy 为 H(z) 的 
可 微 点 集 , 则 下 述 结论 等 价 : 

(1) H(z) 在 r 点 半 光 滑 ; 

(2) 对 所 有 单位 向 量 d, A (8.1.1) 的 极限 一 致 收敛 ; 

(3) 对 所 有 单位 向 量 d, 式 (8.1.2) 的 极限 一 致 收敛 ; 

(4) Vd — H'(z;d) = o(|| d |), VV € OH (x + d); (8.1.5) 

(5) H'(z + d;d) — H'(z;d) 

z+dEDy ia || 


WEBB — (1)2.(2) 假设 结论 (2) 不 成 立 , 则 存在 常数 e > 0, 点 列 {dr}, {dx}, W 


= 0. (8.1.6) 


|| de =|| dk l— 1, de -dx | 0, tk — 0* 和 V, € OH (x tds), 


使 得 对 任意 的 上 有 
|| Vedk ~ H’ (x; dp) || > 2e. (8.1.7) 


选取 {de} 和 {dy} 的 收敛 子 列 , FARA {dy} 和 {de} 本 身 , 记 
dy — d, dy d, 


注意 到 局 部 Lipschitz 函数 方向 导数 关于 方向 是 连续 的 , 由 式 (8.1.7) 知 , 当 充分 
大 时 有 
|| Vedi — H’ (x; d) |> €, 


这 与 H(2) 的 半 光 滑 性 矛盾 . 
)>(3)>(4) 考虑 引 理 8.1.1, 结论 显然 成 立 . 
(4)=>(1) 假设 A(x) 在 r 点 不 是 半 光 滑 的 , 由 式 (8.1.4) 则 必 存 在 


deR", dy—d, e>0, t —0*, V €OH (zx * tdy), 
使 得 对 任意 下 式 成 立 : 
| Vedy — H' (z; d) || > 2e. (8.1.8) 
再 根据 Lipschitz 函数 方向 导数 关于 方向 的 连续 性 及 式 (8.1.8), 对 充分 大 的 &, 有 
|| Vide — H’ (x; dy) ||> €, 


这 与 式 (8.1.5) 矛盾 . 
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(4)=>(5) ÆR (8.1.5) 中 选取 
V = VH(z 4 d) € OH (z 4 d), 


再 考虑 到 
H'(z + d;d) = VH(x + d)! d, 
将 式 (8.1.5) 代入 式 (8.1.6) 左边 , 即 得 结论 (5). 
(5)=>(4) 给 定 s > 0, 从 式 (8.1.6) 知 , 必 存 在 5 > 0, 使 得 对 任何 满足 


ids 和 z+deDr 


的 向 量 4, 有 

|| (x + did) - H'(a;)|| < e |]. (8.1.9) 
考虑 de Rn 满足 ; 

ldl < 58. 
以 及 
V € OH (s +d), 
下 面 证 明 
|Vd — H'(z;d)]| < 5e qldll. (8.1.10) 


根据 广义 Jacobi 定义 及 Jacobi 与 方向 导数 关系 得 
Vde cof{ lim JH(x + did] 


rtdiEDH 
=co{ lm H'(æ+ di;d)}, 


z+di€EDH 
再 根据 Caratheodory 定理 , DEE do,- , dm, 使 得 
一 1 _ 
là — a < min (5e Mal = a}, ete Da, kom, 
m 一 
Vd- V AH'(z + de; d) 


k=0 


其 中 工 是 五 (xz) 在 x 处 的 Lipschitz 常数 ， 


<e, (8.1.11) 


m 
A20, k=l; m, H Ya =l 
k=0 


利用 式 (8.1.9) 及 函数 H'(a;-) 的 Lipschitz 连续 性 , 直接 推导 得 


》 ARH (a + dy;d) — H'(z; ol 
k=0 


8.1 JOOP ERR RR , 155 . 


«YA A(] H'(z + dg; dy) — H'(z + di; d)]] + || H'(x + dg; dy) — H' (a5 d)]| 
k=0 


+ 


|H '(g; d) — H'( (x; dk)]|]) 


< J «de ~ al] + e |lde]] + Ld — dell) 
k=0 


< Y ^ Ande [lal] = 4e lldll, (8.1.12) 
k=0 
由 式 (8.1.11) 和 式 (8.1.12) 得 式 (8.1.10), 结论 (4) 成 立 . 定理 得 证 . | 
定理 8.1.2 所 给 出 半 光 滑 的 5 个 等 价 条 件 也 可 视 为 其 等 价 定义 , 其 中 条 件 (4) 
最 为 常用 , 依据 (4) 我 们 还 可 给 出 高 价 半 光滑 的 定义 . 
定义 8.1.2 E H(z) A R^ 到 Rm 上 的 局 部 Lipschitz 函数 且 方 向 可 微 , 若 
对 于 常数 pe (0, 1], 下 式 成 立 : 
Vd- H'(z;d) -O(l|d|*^), vv eoH(z4d) dcR", (8.1.13) 
则 称 五 (x) 是 p 阶 半 光 滑 的 , 特别 当 p = 1 时 称 为 是 强 半 光滑 的 . 
显然 , 对 于 p c (0,1), p 阶 半 光滑 一 定 是 半 光 滑 的 . 
命题 8.1.1 X H(z) X R^ 到 Rm 上 的 局 部 Lipschitz 函数 , 则 A(x) 是 半 光 
滑 的 当 且 仅 当 它 的 每 一 个 分 量 是 半 光 滑 的 . 
证 明 只 需 考虑 充分 性 . 设 
H(z) = (h(x), ME hm(z))*, 
PE hi(c) AR” 上 的 半 光 滑 函 数 . 根据 定理 8.1.2 中 结论 (5) An 
hi(z + did) — hi(z;d) = o(|ldll), 
从 而 m 
l| (c + d;d) -H(z ON < V 5 Nhi(z + di d) — hi; d) = o([lAll), 
i=l 
BU H(z) 是 半 光 滑 的 . 命题 得 证 . 
半 光 滑 与 强 半 光滑 下 述 性 质 也 是 常用 的 , 证 明 是 显然 的 . 
当 H(z) 是 半 光 滑 时 , WA 
H(z + d) — H(z) — H'(z;d) = o(||d|); (8.1.14) 
当 H(z) 是 p 阶 半 光 滑 时 , 有 


H(z +d) - H(z) — H'(z;d) = O(|\d\|’**). (8.1.15) 
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8.2 ” 半 光 滑 方 程 组 的 牛顿 法 


本 节 给 出 半 光 滑 方程 组 的 牛顿 法 和 不 精确 牛顿 法 以 及 收敛 性 分 析 . 
8.2.1 “牛顿 法 


考虑 下 述 方程 组 : 
F(z) = 0, (8.2.1) 
其 中 F(z) 为 R^ 到 R^ 上 的 局 部 Lipschitz 函数 且 是 半 光 滑 的 . 2448, 我 们 可 以 利 
用 各 种 次 微分 来 建立 相应 的 牛顿 法 , 例如 广义 Jacobi ci F(x). B 微分 95F(z) 等 ， 
为 统一 起 见 , 我 们 考虑 一 般 形式 的 次 微分 , 首先 给 出 关于 次 微分 的 一 种 假设 . 
假设 8.2.1 3X F(x) 为 R” 到 R^ 上 的 局 部 Lipschitz BA, id F(x) = 
(fi(z),--+sfm(a))7, OF (2) 为 F(x) 的 一 种 次 微分 , z 一 OF (x) 作为 R^ 到 Rr 
子 集 上 的 映射 是 上 半 连 续 的 , 对 每 一 个 > e R", 集合 OF (x) 非 空 且 有 
OF (x) C Oc, fil) x +++ x 0e fuz). (8.2.2) 
显然 , 次 微分 Oc, F(x), Op F(x) 和 Oc, filt) x .… x 0o, fm (x) 都 满足 假设 8.2.1. 
求解 方程 组 (8.2.1) 的 牛顿 法 迭代 公式 如 下 : 
atl = gë —~Vo'F(2*), Vp € F(z"), (8.2.3) 
其 中 次 微分 SF(z) 满足 假设 8.2.1. 我 们 可 具体 选取 次 微分 为 广义 Jacobi RI B 微 
分 等 , 选取 不 同 的 次 微分 , 就 得 到 不 同 的 牛顿 法 . 为 证 明和 牛顿 法 (8.2.3) 的 收敛 性 ， 
首先 给 出 一 个 引 理 . 


引 理 8.2.1 x F(x) 为 及 ”到 R^ 上 的 局 部 Lipschitz 函数 , 次 微分 OF (x) 满 
ABE 8.2.1, 如 果 所 有 V € OF (x) 是 非 奇异 的 , 则 存在 常数 8 > 0, 使 得 


IvV- «8, YV € ðF(z), (8.2.4) 
进一步 存在 x 的 邻 域 B(x, 6), 使 得 
IV « $, VV € ƏF(z). y€ B(z,5). (8.2.5) 


证 明 ”注意 到 , 集 值 映射 z 一 OF (2) 的 上 半 连 续 性 和 OF (2) 的 有 界 性 (由 于 
A (8.2.2) 右 端 有 界 ), 易 见 式 (8.2.4) 和 式 (8.2.5) 成 立 . 引 理 得 证 . 

定理 8.2.1 Kat 是 方程 组 (8.2.1) 的 解 , 如 果 次 微分 OF (x) 满足 假设 8.2.1, 
F(a) 在 z* 处 是 半 光 滑 的 以 及 所 有 V eoF(a*) 都 是 非 奇异 的 , 则 和 迭代 公式 (8.2.3) 
产生 的 点 列 (xx) 在 点 z* 附近 超 线性 收敛 到 zx*. 
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证 明 ”根据 引 理 8.2.1, OF(z*) 中 的 所 有 元 素 是 非 奇异 的 , ALARA (8.2.3) 
在 k=0 是 适 定 的 . WV 为 V 的 第 i 个 分 量 , 由 于 f(x) i ==1,…,n 在 zx* 处 是 
Ve € Ocifilz*), 


根据 半 光 滑 性 质 有 
Vi(z* —z*) — fí(z*;z* a") = ofz ~ x], i=1, n, (8.2.6) 
进而 有 
V. (z^ — z*) — F'(z*;x* — z*) = o(lfz* — 2* ||). (8.2.7) 
再 由 引 理 8.2.1, F(z*) = 0 MR (8.2.7), 推导 得 
[z^ — z*| =||2* ~ c* — Vy r(z)| 


<S [V  (F(z*) — F(z*) — F'(z*; z* — x*))]| 
t |[W (zt — 2*) — F'(z*;z* — x7))]| 
-e(|z* - al). 
这 就 证 明了 在 点 z* 的 邻 域内 超 线性 收敛 到 z*. 定理 得 证 . 
8.2.2 不 精确 牛顿 法 
求解 非 光滑 方程 组 (8.1.1) 的 不 精确 牛顿 法 如 下 : 
okt! = ok UCiF(s*) Up € R”. (8.2.8) 
定理 8.2.2 Wb z* 为 方程 组 (8.1.1) 的 解 , 次 微分 5F(z) 满足 假设 8.2.1, F(z) 


在 z* 处 是 半 光 滑 的 , 且 所 有 V e 9F(z*) 是 非 奇异 的 , 则 存在 < > 0,A > 0, 如 果 
lz? —z*|| «e HFE V* e OF (2*), 使 得 


[Vi — Us| < A, (8.2.9) 


WIE AGE (8.2.8) 是 适合 的 且 产 生 的 点 列 (z^) 在 点 z* 附近 线性 收敛 到 z*. 
证 明 ”根据 引 理 8.2.1, 存在 9 > 0 和 x* 的 邻 域 B(z,6), 使 得 


IVT 8, VW e8F(z"), (8.2.10) 


ES Pe, VV € ƏF(y), ye B(z',6). (8.2.11) 


选取 A> 0 满足 
68A « 1. (8.2.12) 
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id V € 8F(z) 的 第 i 个 分 量 为 V'i, 由 f(z) 在 z* 点 的 半 光 滑 性 以 及 V* € Bcfi(7z)， 
则 有 


Vi(z—az*)- fi(z*;z—-a')-—-ol|lzr-z'|, i=1,..,n, 
进而 得 
V(z-az*)- F'(r';z—a')-o(lr-z'| VV €OF(z). (8.2.13) 
由 式 (8.1.14) 和 式 (8.2.13), 选取 = 充分 小 , 使 得 
{x € R^||z — z*|| < e$ C B(x", ô), 


|. F(z*) ~ F(z*) - V(x" 一 z*)|| < Aljz* — z*||, 


VV eOF(z*), |z* —x*| <e. (8.2.14) 
根据 式 (8.2.10) XX (8.2.11) 及 jz — z*|| < e M, V € OF (x) 是 非 奇异 的 , 进而 有 
IV! < 56. VV €8F(x) |r-z*|«e. (8.2.15) 


利用 和 矩阵 分 析 中 的 熟知 结果 : 设 A, B < R^, B 非 奇异 ， 
IB (8- A)|| < 1, 


则 4 是 非 奇异 的 且 有 "m 
IA" < i BBS AT (8.2.16) 
从 现在 起 , 假设 对 任意 上 有 lzx* — z*| € e, HER (82.16) P, + 
A=U:, B= 
直接 推导 得 
-1 IV M 
MST ui 
10 10 
a8 18 
a 2 < 5. (8.2.17) 
1-64 1-5 
进一步 得 
z^ _ z* || 二 jz” _ UL ` F(z") L z* | 


< Ue MMF (Gs) — F(e*) — Uc (z* — z*) 
< Ue MFG) — F(z*) — Us(z* — 2*)| 
+ — Uellllz* — z*l. (8.2.18) 
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将 式 (8.2.9), IÈ (8.2.12), IR (8.2.14) 和 式 (8.2.17) 代入 式 (8.2.18) 得 
ltt —a*I|< 5 Ali - z'| + Alle” — z*|l) 
-38A|z* — z*|| < sist — a* |. (8.2.19) 
根据 数学 归纳 法 , H ||z? 一 z*|| <e 和 式 (8.2.19) 则 对 任意 k, 有 
llz* — z*l| <e, 


TÉ 


1 
ll! — aI] < Șlle* = a*l, 


这 就 证 明了 (z^) 线性 收敛 到 z*. 定理 得 证 . 
定理 8.2.3 H F(s) 在 z* 处 是 半 光 滑 的 且 非 奇异 , 次 微分 BF(z) 满足 假设 
8.2.1, (Ux) 为 RO” 中 非 奇 异 阵 ，{z*} 是 迭代 式 (8.2.8) 产生 的 点 列 且 z* zz, 
jim gt = z*, JU. {xz*} 超 线 性 收敛 到 点 z* H 下 (z*) = 0 的 充 要 条 件 是 存在 Vi € 

OF (x*), 使 得 
lim Ve UOS l| o 


8.2.20 
i Ts] (8.2.20) 


, 


其 中 s = gët! — gF, 

证 明令 ck = zk an, BRAT {eh} 和 (s) 都 收敛 到 0 根据 迭代 公式 
(8.2.8), 直接 推导 得 

F(z*)  (F(z*) + Vps) — (F(z*) — F(z*) 一 Vie*) — Vpe t? 


=F (z*) + Ups" — (Uk — Vi) s" — (F (2*) — F (2*) — Vee*) — Vee**? 


= (Ux — Vi) s" — (F (z*) — F (z*) — Vee*) — Viet!. (8.2.21) 
根据 半 光 滑 性 质 得 
F (z*) - F(z*) - Ve* 2o (lle*||) ; (8.2.22) 
由 式 (8.2.20) 得 
(Ux — Ve) s* = 0(|Is*il) , (8.2.23) 


再 由 式 (8.2.21)~(8.2.23) 及 上 一 0 和 (V4) 的 有 界 性 得 


于 是 
(Ux — Vk) s* — (F(T) — F (z*) - Vke*) — Vpe"t! = 0. (8.2.24) 
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根据 引 理 8.2.1, (V!) 是 有 界 的 , 再 由 式 (8.2.22), 式 (8.2.23) M (8.2.24) 得 
[e*** jj <o(||s* ||) + ofle”) 
< o(|le*||)  o(]]e**! ||), 


这 说 明 


le 


* 


k^ [JeF] 
BU {zg} 超 线性 收敛 到 z*. 另 一 方面 , 设 F(2*) = 0, (25) 超 线性 收敛 到 z*, 由 上 
面 推 导 的 逆 过 程 就 可 得 式 (8.2.20). 定理 得 证 . 


83 复合 函数 的 牛顿 法 
8.3.1 “牛顿 法 
考虑 复合 函数 的 非 光滑 方程 组 : 


ga(filz), -,fm(x)) =0, 


gn (f(x): >, fm(x)) = 0, (8.3.1) 


其 中 f(z),j = 1,…,m Æ R” 上 的 局 部 Lipschitz 函数 , gi(x), i=1, n Æ R” 
上 的 连续 可 微 函 数 . > 
Gly) = (g1 (y), ony)", (8.3.2) 
F(x) = (六 (zh)， MEME mla)", (8.3.3) 
此 时 方程 组 (8.3.1) 可 以 写成 
G(F(x)) = 0. (8.3.4) 
我 们 知道 , 在 8.2 节 中 给 出 的 牛顿 法 可 以 直接 应 用 到 方程 组 (8.3.1), 然而 在 某 
些 应 用 中 , 关于 函数 Go F(z) 次 微分 的 计算 是 困难 的 , 而 函数 F(x) 次 微分 的 计算 
HAD, 本 节 的 方法 只 需 函数 F(z) 的 次 微分 , 不 需要 函数 Go F(x) 的 次 微分 . 
下 面 给 出 解 方程 组 (8.3.1) 的 牛顿 法 : 


okt} = zë WE G(F(3*), We € JG(F)|p pi OF (2*): (8.3.5) 


OF(z) C OÓcifi (x) XX Oci fa (x), 
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但 JG(F)| F-ra ðr (1) 却 不 属于 集合 
Ocigi(F(x)) x +++ x Ocigm(F(2)), 
所 以 它 不 是 函数 G o F(x) 满足 假设 8.2.1 的 次 微分 . 
引 理 8.3.1 SAK F(x) 和 Gly) 是 由 (8.3.2) 和 (8.3.3) 给 出 的 形式 , 而 9P(z) 
是 F(a) 满足 假设 8.2.1 的 次 微分 , 如 果 所 有 W € JGO) F-ra OF (2) 是 非 奇异 的 ， 
那么 存在 6 > 0, 使 得 


Wo <8, YW € JG(F)|p-ri9F(z), (8.3.6) 
进一步 , 存在 x 的 邻 域 B(z, 5), 使 得 
IW-'| < TB, VW e7yGUIe-r9F(D)，ye Br (83.7) 


证 明 ”注意 到 函数 G (y) 是 连续 可 微 的 , 引 理 的 证 明 可 以 完全 类 似 于 引 理 8.2.1. 

定理 8.3.1 ”假设 z* 是 方程 组 (8.3.1) 的 解 , OF (x) 是 F(z) 满足 假设 8.2.1 的 
次 微分 , F(z) 在 z* 处 是 半 光 滑 的 , 并 且 所 有 的 W € JG(F)|e ro Or (z*) 是 非 奇 
异 的 , 那么 式 (8.3.5) 给 出 的 选 代 公 \ 式 是 适 定 的 , 其 中 产生 的 点 列 {x2*} 在 z* 的 一 
个 邻 域内 超 线性 收敛 到 x 

证 明 ”根据 引 理 8.3.1, BRAK (8.3.5) YE k — 0 时 是 适 定 的 . 记 Wy; 为 Wy 
的 第 i 行 , 则 Wi; 具有 下 面 的 形式 : 


Wy = Y ix Vij, i=1,...,n, (8.3.8) 
j=l ? | por(ak) 
其 中 
Vki X +++ X Vkm € OF (z*). 
根据 次 微分 的 定义 ， 
V&; € Oorfj(z"), jG =1,---,m, 
再 根据 式 (8.1.6), 链 式 法 则 和 ES ) 的 局 部 有 界 性 及 连续 性 有 


Wy;(z* — z*) ~ (gi o FY " za) 


m 9 AF . m g i 
-MUNA wen- PD) pata) 
j=l 7 F=F(z*) j=l ; F=F(z*) 
n Ogi I at * 
= Wot) feaa) 
jl | pap(at) 


- 162 - 第 8 章 FRA A RAE Fp I] ER 


AOL Bt lene E 
—-o(|z^ —z*|), i=1,---,n. (8.3.9) 
3k (8.3.9) 表明 
Wxy(z* — z*) — (Go F)'(z*;z* — z*) = o(||x* — x*|). (8.3.10) 


注意 到 函数 Go F(x) dE z* 处 是 半 光 滑 的 , 由 式 (8.2.7), X (8.3.7) 和 式 (8.3.10), 下 
式 成 立 : 


"+! — a*|| = ||z* — 2* - Wg GG) 
< |[W; * (G(F(z*)) - G(F(z*)) - (Go F)'(z*;z* — a*))| 
+ ||W,* (We(2* — 2*) — (Go F)'(z*:z* — z*))| 
-e(lz* — * |). 
这 就 证 明了 {xz*} 超 线 性 收敛 到 x*. 定理 得 证 . 
8.3.2 不 精确 牛顿 法 
方程 组 (8.3.1) 的 非 精 确 牛 顿 法 如 下 : 


okt) = ok — WF 'G(F(2")), Wp € IG(F)lrer(et)Ue, Ur ER". (8.3.11) 


定理 8.3.2 ”假设 zx* 处 是 方程 组 (8.3.1) 的 解 , OF (x) 是 F(x) 满足 假设 8.2.1 
的 次 微分 , F(x) 在 z* 是 半 光 滑 的 , 且 所 有 W € JG) r-ra F(a) 是 非 奇 异 的 ， 
存在 & > 0,A > 0, 使 得 如 果 ||z9 — z*|| < e, 并 且 存 在 V, € 9F(z*), 满足 


IVs — Uxll < A, (8.3.12) 


那么 式 (8.3.11) 给 出 的 迭代 法 是 适 定 的 且 产 生 的 点 列 {2*} 线性 收敛 到 z*. 
证 明 ”由 引 理 8.3.1 和 JGO) pore) 的 连续 性 , 则 存在 86> 0,yY>1 和 z* 的 
邻 域 B(z*, 6), 使 得 


|W <6, YW € JG(F)|r=r(e-)OF (2*), 


1, — 10 
IWH] < g^ VWeJG(F)rryV, Ve8F(y, ye B(2*,6), (8313) 
|JGP)lrormll €? Vy € B(z',). (8.3.14) 
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选择 A > 0 满足 
667A « 1. (8.3.15) 
id (JG(F)|r-rz)V)i AWe JG(F)|r-r(z)V 的 第 i fT, 则 有 
~ Ogi(F) 
IG(P)|par(2)V)i = > RE 
(JG(P)lr=r(2) » 05, leor 


其 中 Vi x … x Vm € F(z). 注意 到 在 zt 处 , 每 个 函数 g;(F(z)) 是 半 光 滑 的 且 
Vj € Ocif;(x). 由 式 (8.1.4), 式 (8.3.14), V; 的 局 部 有 界 性 和 gi (x) 的 连续 可 微 性 , 对 
任意 V € OF (x), 下 式 成 立 : 


ga(F(2)) — ai(F(2*)) - (JG(F)|r=r@)V):(z2 — 2°) | 


= | gi F(2)) ~ 9: F(a*)) - V. Suh) 
4. of, 


Vj(z — a*) 


J |F=F(z) 
« [ei — eG) — (gi o FY ("sx — 27)] 


Pg * m 0 i 
+ (G0 Pas- a") Ye) V;(z — x") 
J= pl) 
c. 0 i(F AC * 
= o(||z — x*| + aera f;(z';m—z*) 
ji ? F=F(z") 
a^ Ogi(F . 
-DAO ye-a) 
jl ^ [pcF(a) 
=ð iE / * 
<ollie— 2+) Uter) vi - a) 
jc ; F-F(z") 
Og;(F Ogi( F) * 
一 一 一 V; 一 
(a a F=F(2) af; " (m — x) 
= ollie o |), i=l n. (8.3.16) 


因此 , 对 任意 Ve OF (x), 下 式 成 立 : 
IG(F(a)) ~ GF (z*)) ~ GC?) ez no V (x — 2*)|| = o(llz — x*|)). (8.3.17) 
根据 式 (8.3.17), 选取 足够 小 的 e > 0, 使 得 
{x € R”| |x - z*|| <e} C B(x", 6), 
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[aun -GEE - IGP) parce) VGr — 2°) | < AI 2*1. 
VV €e8F(z), lz- rl «e. (8.3.18) 
由 式 (8.3.13) 和 式 (8.3.14), lz — z*|| < 意味 着 对 任意 V € OF (x), JG(F)|e e V 
是 非 奇异 的 且 满 足 


[G(r (wv) < 28, (8.3.19) 


[JG(F)|F=Fœ) < 7. (8.3.20) 
下 面 假 设 lz — 2*|| < e. 在 式 (82.16) 中 , > 


A = Wp =JSG(F)|por(crUk, B= IG(F)\|porceryVe, 


FRA 
Iw! « IC GO?) e eee Ve)! | 
k 工 一 [| SGP) parce) Vk)  CIGCF)| e ree (Ve — Ux))|| 
10 10 
48 —B 
M 9 = < 5f (8.3.21) 
直接 推导 得 


|e"? — a" || = [z^ - WF GGG) - zl 
< We" || |G @*)) - G(F(a*)) — We (at — z*)]| 
«Iw [G(F(*) - G(F(a*)) - IG(F)| poor) Vela" — z*)]| 
+ [JGG) eres) (Ve — Ux)]| zr — z*)]]- (8.3.22) 


将 式 (8.3.15), 3X (8.3.18), 5X (8.3.20) 和 式 (8.3.21) RAR (8.3.22), 得 
jot? = a*l < 38A — a*l + Alz" — zl) 
= 58^ + 834) ||x* — z*| 
<j (: " 1) ll; — a] 
< 3 |z" — x* ||. (8.3.23) 
由 数学 归纳 法 , |x? — 2* || « e MR (8.3.23) 得 到 


lz* -zl ge 
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对 所 有 成 立 , 因此 在 |a? — z*|| < e 的 假设 下 , 关系 式 
Jat! so 
对 所 有 上 成 立 , CENE, (8.3.11) 是 适 定 的 , 且 序 列 (r) 线性 收敛 到 o. 
理 得 证 . 
例 8.3.1 考虑 非 光滑 方程 
file) + faz) =0, 
s(x) fa(z) = 0, (8.3.24) 


其 中 fj(z),j7 = 1,…,4 Æ R? 上 的 局 部 Lipschitz 函数 , 且 在 方程 组 (8.3.24) 的 解 
z* 处 是 半 光 滑 的 , 利用 牛顿 法 (8.3.5) 解 方程 组 (8.3.24). $ 


F(x) = (f(x), fa(z). fs(z), fa(x))*, 
91(fi, fas fa, fa) = fi fo, 
gafas fas fs, fa) = fafa, 

G(y) = (g1(y),92(y))", 


可 得 
‘en (| 1 0 0) 
00 fa fs 
给 定 
Ve = Vki X Veg X Vk3 X Vea € OF (x*), 
A 


Wy — JG(F)| pz r(s*) Vk 
-( 11 0 0 ) Veo 
0 0 fa(z*) fa(z*) Vis 
_ ( Vki + Veo 
Sala") Ves + falat) Vra J 


因此 , 解 方程 组 (8.3.24) 牛顿 法 的 迭代 公式 是 


miata Vin + Via ) (Aem 
Jala") Vrs + fala") Vra fs(z^) fala") l 
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8.4 拟 可 微 方 程 组 的 牛顿 法 


前 两 节 讨论 的 非 光滑 方程 组 牛顿 法 是 针对 局 部 Lipschitz 函数 , 利用 Clarke 广 
X Jacobi 型 微分 建立 的 , 本 节 讨 论 另 一 类 非 光滑 函数 、 拟 可 微 函数 的 方程 组 、 基 于 
拟 微分 建立 相应 的 牛顿 法 . 


8.4.1 HK 


为 建立 收敛 性 理论 , 首先 引入 拟 半 光 滑 概念 . 
设 F(z) AR" 到 Rm 上 的 函数 , f(x) 为 F(zx) 的 第 i 个 分 量 , f(x) 是 拟 可 微 
的 , 其 拟 微分 为 [9f;(z), Ofi(x)], 则 称 F(z) 是 拟 可 微 的 , 其 拟 微分 定义 为 


BR OF (x) 和 6F(x) AR” 中 的 凸 紧 集 . 
在 m xn 维和 矩阵 空间 R 中 的 西 紧 集 W 的 支撑 函数 8*(W; .) 为 


6°(zIW) = max én, x € R”. 
设 F(x) AR” 到 Rm 上 的 拟 可 微 函 数 , [8F(z),6F(z)] 为 拟 微分 , WA 
F'(a;d) = 6*(d|OF(x)) — 6*(d| -ÓF(z), deR”. 
F(z) AR" 到 Rm 上 的 函数 , 如 果 
F(z +d) — F(x) — F'(z;d) = o(lld]), deR”, (8.4.2) 


WK F(x) Æ x c R” 处 是 B 可 微 的 (一 致 方向 可 微 ). 
定义 8.4.1 X S(z) X R” 到 Rmxn 中 子 集 上 的 集 值 映射 , 如 果 


&d — 6*(d|S(x)) = o(ld]), VE € S(z + d) 


成 立 , 则 称 S(z) YE x 处 是 拟 方向 连续 的 . 
容易 证 明 , 集 值 映射 Oc. FC) 是 拟 方向 连续 的 当 且 仅 当 Fae) 是 半 光 滑 的 . 注 
意 到 
6° (d|Si(x) + S2(x)) = o" (d|S1 (a)) + 6° (d|S2(2)), 
6° (d|AS(x)) = Ad" (diS(z), ^20, 


我 们 有 以 下 命题 . 
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命题 8.4.1 BRR 到 Rmx" 的 子 集 上 的 集 值 映射 51(z) 和 Sr) 是 拟 方 
向 连续 的 , A > 0, 那么 S(x) + So(xz) 和 ASo(z) 也 是 拟 方 向 连续 的 . 

EX 8.4.2 W F(z) X R^ 到 Rm 上 的 拟 可 微 函数 , 拟 微分 为 [8F(z), 6F(z)]， 
如 果 集 值 映射 OFO) 和 -IFO TE r 处 是 拟 方 向 可 微 的 , HU 


Ud —ó*(dBF(x)) = o(|ld||), U € OF(z +d), 
Vd —6*(d| - 8F(z)) = o(ldl), V € 8F(z 4 d), 


称 F(x) 在 点 x 关于 拟 微分 [ 8F(z),0F(z)] 是 拟 半 光 滑 的 ， 

注 记 8.41 $ f(z) 为 R" BR LVM RBM, 拟 微分 为 [8fi(x), Ifl), 
B F(x) = (f(x), fm (x))* 的 拟 微分 如 式 (8.4.1), 那么 F(x) 关于 拟 微 分 [OF (a), 
6F(z)] 是 拟 半 光滑 的 当 且 仅 当 所 有 的 f(z) 关于 拟 微分 [Of (x), file), i = 1,…， 
m 是 拟 半 光滑 的 . 

根据 拟 微 分 的 运算 法 则 和 定理 8.4.1, WR Fi (x) 和 P(x) 都 是 拟 半 光 滑 的 , 则 
Fi(z) + F(z) 是 拟 半 光滑 的 . 

定理 8.4.1 假设 f(x) Aj R^ 到 R 上 的 半 光 滑 函 数 且 有 fe(x;q) = fie; d), i = 
1,2, 那么 函数 f(x) = 户 (z) — fol) 和 g(x) = fa(z) + 户 (z) 是 拟 半 光 滑 的 . 

证 明 由 

fi (id) = fr(z; d), 
则 有 
J (2; d) = 6* (dlOci fi(x)) — 9* (d| — Ocifo(z)), 


故 f(z) 是 拟 可 微 的 , 其 拟 微分 为 
[Of (2), 8f (z)) = [Acifi(x), -8cifa(2)] 
因为 (zx) 和 fol) 都 是 半 光 滑 的 , 则 有 
Ud — 6*(d\dcrfi(x)) = o(|ldll), U € Ocifi(z + d), (8.4.3) 


Vd — ó*(djócifa(x)) = of|ld||), V € 8cifa(z + d), (8.4.4) 
于 是 
BFO) =Oarfi(),  -9f() = Aer fal-) 
是 拟 方向 可 微 的 , 因此 f(c) 是 拟 半 光滑 的 . 容易 看 到 
g'(x; d) =8*(dlOcifi(z)) + 9*(dGcifa(x)) 
= ó* (dlOcifi(x) + Ocif2(z)), 
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因此 g(z) 是 拟 可 微 的 , 拟 微分 为 
[29(x), Bg(z)] = [cı fi (x) + Ocifa(x), {0}. 
由 于 集 值 映射 dofi) 和 6cif2(:) 是 拟 方向 连续 的 , 据 定理 8.4.1, 
8C) = 9e fi C) + borfal) 
是 拟 方向 连续 的 , 另 一 方面 ， 


—dg(x) = (0) 
是 拟 方向 连续 的 , 根据 定义 , g(z) 是 拟 半 光 滑 的 . 
8.4.2 ”牛顿 法 
考虑 下 面 的 方程 组 : 
H(x) = 0, (8.4.5) 
其 中 H(z) AR” 到 R^ 上 的 拟 可 微 函 数 . 求解 方程 组 (8.4.5) 的 牛顿 法 如 下 : 
Tt — gk — (Uk + Ve) H (xë), (Uk, Ve] € [BH (25), 8H (2*)). (8.4.6) 


引 理 8.4.1 ”假设 集 值 映射 OH (C) 和 68(.) 在 x 处 是 上 半 连 续 的 , 如 果 所 有 
HK) U+V € OH(-)+0H(-) 是 非 奇 异 的 , 那么 存在 8 > 0, 使 得 


IU 4 V) «8, v[U,V] € (OH (z), ðH (2). (8.4.7) 
此 外 , 存在 的 邻 域 B(z,5), 使 得 
IU+V) < Fa, VUV] € BHO) DHW), Ye Bl.) — (848) 


证 明 ”因为 oH() 和 OH(.) 是 上 半 连 续 的 , 所 以 DHO + OH () 也 是 上 半 连 
续 , 注意 到 OH (x) + OH (x) 是 有 界 的 , 因此 式 (8.4.7) 和 式 (8.4.8) RX. 

定理 8.4.2 ”假设 x* 是 (8.4.5) 的 解 , 所 有 的 U + V € OH(2*) + OH(a*) 是 非 
奇异 的 , H(z) 在 x* 处 是 拟 半 光滑 且 B 可 微 的 , 集 值 映射 OH C) 和 OH(-) 在 zx* 处 
是 上 半 连 续 的 , 那么 式 (8.4.6) 给 出 的 迭代 法 是 适 定 的 且 点 列 (z^ 在 r 的 邻 域内 
超 线 性 收敛 到 zx*. 

证 明 ”由 引 理 8.4.1, 23 k — 0 时 和 迭代 法 (8.4.6) 在 x* 的 邻 域内 是 适 定 的 . 由 
于 H(z) 在 z* 处 是 拟 半 光滑 的 , 根据 定义 8.4.2, 有 


(U t V)(z -z*)-H'(z*';x-z) 
=U (x — x*) — ô* (x — z*|QH(z*)) + V(x — z*) -ó*(x — x*| - ÓH(a*)) 
=o(|le-a"||), [U,V] € [BH (z), 9H (z)]. (8.4.9) 
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由 引 理 8.4.1 和 式 (8.4.9), H(x) 在 x* 处 的 拟 半 光滑 性 、B 可 微 性 和 H(z*) = 0, HE 
到 得 


ret — zt) = [ls — 2* — (Ur + Ve)  H (2*)|| 
< (Ux + Ve) Gt (z^) — H(z*) — H'(2*;2* — 2*))|| 
+ (Ux + Vk) (Ux + Ve)(a* — z*) — H'(z*; x* — x*))|| 
-olllz* — a*|p. 
这 表明 点 列 (x5) 超 线 性 收敛 到 z*. 定理 得 证 . 
8.4.3 不 精确 牛顿 法 
求解 (8.4.5) 方程 组 的 非 精 确 的 牛顿 法 如 下 : 
z^ = gë ~ WF H (2f), We E R”. (8.4.10) 
定理 8.4.3 ”假设 ot 是 方程 组 (8.4.5) 的 解 , 定理 8.4.2 的 假设 条 件 成 立 , 存在 
e, A > 0, WR x? —z*l| «e HFE Up € OH (zf) 和 V, € OH (z^), 使 得 
[Ux + Vk — Well € A, (8.4.11) 


ABA, (8.4.10) 中 的 迭代 法 是 适 定 的 且 产 生 的 点 列 {zx*} 在 点 z* 附近 线性 收敛 到 zx*. 
证 明 ”由 引 理 8.4.1, 存在 8 > 0 和 z* 的 邻 域 B(x*,6), 使 得 


I(U-- V) < Dg, V[U, V] € [BH(y).ÓH(y)]. y € B(2*,8), (8.4.12) 


选择 A > 0 满足 
68A « 1. (8.4.13) 
注意 到 H(z) 在 z* 处 是 B 可 微 且 是 拟 半 光 滑 的 , 根据 式 (8.4.2) 和 式 (8.4.9), 有 
A(x) — H(x*) - (U + V)(z — 7") 
—(H(r)- H(x*) - H'(z*; x — x*)) 
FH'(z*;z—a*) -(U + V)(z — 7) 
-o(lz-z'|, [U,V] € [BH(x), OH(z)]. (8.4.14) 
在 式 (8.4.14) P, 选取 足够 小 的 。 > 0, 使 得 


{x € R"||iz — z*i| <e} C B(z*,6), (8.4.15) 
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H(z) - H(2*)-(U+V)(x—2")|| < A |lz — 2"), 
[U,V] € [3H (x), ðH (x)|, l|z-z"'| < e. (8.4.16) 
由 式 (8.4.12) 和 式 (8.4.15), 得 
IU +v) < 5. V[U, V] e [3H(z),8H(z), lhz-z'|&e (8417) 
假设 
lz- x*] < e, 


在 式 (8.2.16) 中 , > 
A=W, B=Uk +V, 


H (8.4.11). 3X (8.4.13) 和 式 (8.4.17) 推导 得 


E (Ue + Ve) 
We lS TTD ye VW; 
10 10 
En ng 
< 一 9 一 < 一 < 54 (8.4.18) 
1-394 l-5 
这 意味 着 Wi 是 非 奇 异 的 , 因此 选 代 公式 (8.4.10) 是 适 定 的 . 直接 推导 得 
jz — z*| = |z" — Wp H(z") — x*| 


= |W || H (2") - H(z*) - Wi (a* — *)l 
< wa ! (I (c5) — H(z*) — (Uk + Vx) ~ x") 
+| Ve + Uk — Willlz* — x* |). (8.4.19) 
将 式 (8.4.11), 3X (8.4.13), 式 (8.4.16) 和 式 (8.4.18) 代入 式 (8.4.19) 得 
z^? -a*l < 5B(Alz — z^] + All — 2") 
—38Al|z* — z* || 
< jl — z* ||. (8.4.20) 
TH, 由 ||x? — z*|| <e AX (8.4.20), 得 
lz^ —z*l «e 
HER k 成 立 , 因此 在 |e? — z*|| « es 的 假设 下 , 对 任意 上 有 


1 
la — 2" || <5 lle” -2" I], 
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即 序列 (z^) 线性 收敛 到 x*. 定理 得 证 . 
下 面 的 定理 给 出 了 不 精确 牛顿 法 (8.4.10) 超 线性 收敛 的 充分 必要 条 件 . 
定理 8.4.4 ”假设 所 有 U+Ve QH(z*)+OH(z*) 是 非 奇 异 的 , H(z) 在 xz* 处 
是 拟 半 光滑 且 B 可 微 的 , 集 值 映射 98(.) 和 OH(.) 在 a^ 处 是 上 半 连 续 的 , {Wi} 
是 mx n 维和 矩阵 序列 , {zk} EERE (8.4.10) 产生 的 点 列 且 对 任意 大 有 ck zat, 
jim z* = zt, 那么 {ck} 超 线性 收敛 到 z* HA Ha) = 0 当 且 仅 当 存在 Uk € 
DH (a*), Ve c OH (ak), 使 得 
i [(Ux + Ve — We)(a**? — z*)]| 
im 


zx [e ear] 


WEBB ”充分 性 . 假设 (8.4.21) Bor, + 


=0. (8.4.21) 


ek= gt gt, gk a ght k 


因此 点 列 (e) 和 {x*} 收敛 到 0. 由 式 (8.4.10) 可 知 
H(x*) + Wys* = 0. 
直接 推导 得 
H (z*) 2 (H(z*) + (Ux + Va)s®) — (Uk + Veet? 
-(H(z*) — H(z*) ~ (Ux + Veje") 
= H (xf) + Wys* + (Uy + Ve — Wx)s* — (Uy + V )e*! 
-(H(z*) — H(z*) - (Ux + Ve)e*) 


= (Ux 十 — W,)s* — (Uk + Ve)ert! 


—(H(a*) — H(z*) ~ (Up + Vi)e*). (8.4.22) 
联 立 式 (8.4.14) 和 (8.4.21), 则 有 
H(z*) — H(z*) — (Ux + Vie)e* = o([e^]]), (8.4.23) 
(Uk + Ve — Wy)s* = o(]|s*]]). (8.4.24) 
因此 , 由 式 (8.4.22)~(8.4.24), eg — 0 和 (Ux + V.) 的 有 界 性 有 
H(z*) =0, 


于 是 


(Ux + Vi — Wy)s* — (Ux + Vk)e**! — (H(x*) — H(z*) — (Ux + Vk)e^) = 0. (8.4.25) 
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由 式 (8.4.23)~(8.4.25) 和 ((Ux + V.) 3) 的 有 界 性 , 下 式 成 立 ; 
lle*** li < o(s" ll) + o(le* ll) 
< o([e*|[) + o(le*** Il), 


这 意味 着 
m Hee 
ko |leF| 
BU {14} 超 线 性 收敛 到 z*. 
必要 性 . 假设 H(c*) = 0 H (z*) 超 线 性 收敛 到 z*. 由 以 上 讨论 的 逆 过 程 中 就 


可 以 直接 得 到 式 (8.4.21). 定理 得 证 . 
8.4.4 ”举例 


下 面 给 出 两 个 拟 可 微 方程 组 的 例子 , 主要 讨论 相关 函数 的 拟 半 光滑 性 . 
例 8.4.1 考虑 函数 
P(x) = (x) ~ V(x), (8.4.26) 


其 中 B(x) A w(z) WEA R” SR" 的 凸 函 数 , 也 就 是 说 , 它们 的 所 有 分 量 都 是 凸 
函数 . 记 B(z), V(x), P(x) 的 第 i 分 量 分 别 为 8;(7x), Wi(z),pi(z), 显然 P(x) 是 拟 可 
微 的 且 它 的 拟 微分 是 


OP(x) = O91(7) x --- x Obn(z), 
OP(x) = (—Oyn (x) x --: x (-O¥n(z)), 


其 中 8 RAO BRN MAD. BABY 09,0) 和 oyl 是 上 半 连 续 的 , 因此 aP(.) 
和 OP(.) 也 是 上 半 连 续 的 ， 注意 到 o(d) = od) 且 v?(5d) = vi(;d), 同时 
gi(T) 和 yila) i = 1,…,m 是 半 光 滑 函 数 , 根据 定理 8.4.2, pi(z) 是 拟 半 光滑 的 , Al 
此 P(x) 也 是 拟 半 光滑 的 . 

例 8.4.2 ”考虑 下 面 的 函数 : 


Q(x) = max Fi(z) — max G;(z), (8.4.27) 


其 中 F(z) 和 Gj(z) X R” 到 R” 的 连续 可 微 函数 , 和 J 为 有 界 指标 集 . 不 失 一 
般 性 , 假设 函数 F(x) 和 Gj(x) 为 R^ 到 R 上 的 函数 . 记 
I(x) = (i € I|Fi(z) = max Fi(z)}, 


J(z) = {j € JIG;(7) = max G;(z)], 
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BR Q(z) 是 拟 可 微 的 , 它 的 拟 微分 为 

Q(z) = co(VFi(x)|i € T(z)}, 

8Q(z) = co(VG;(z)]j € J(z)) . 
4 

Qi(z) = max Fi(z), Q(x) = max G;(z), 
TÉ 
Qi(;d)-Qi(;d) += 1,2. 

因为 Qi(z) 和 Qo(z) 是 半 光 滑 的 , 根据 定理 8.4.1, Q) 是 拟 半 光滑 的 . 


8.5 非 线性 互补 问题 
本 节 讨 论 将 一 个 非 线 性 互补 问题 转化 为 非 光 滑 方 程 组 , 这 样 就 可 以 用 上 节 介 绍 
非 光滑 方程 组 的 牛顿 法 来 求解 . 
8.5.1 “互补 问题 与 非 线性 与 函数 
非 线性 互补 问题 就 是 求解 下 述 问题 : 
f(z) 20, A(x) >0, f(x)*h(x) = 0, (8.5.1) 
其 中 
f(x) = (fila), fala), h(a) = (hx), hala), 
filz), hilz), t=1,---,n 


均 为 R 上 的 连续 可 微 函数 . 非 线性 互补 问题 有 广泛 的 应 用 , 非 线性 规划 的 Kuhn- 
Tucker 系统 就 是 一 个 典型 的 非 线性 互补 问题 . 所 谓 非 线性 互补 函数 就 是 能 够 将 问 
fil (8.5.1) 转化 为 一 个 非 光滑 方程 组 的 函数 . 

定义 8.3.1 V ó(a, 0b) AR? 上 的 实 函 数 , 如 果 它 满足 下 述 性 质 : 


(a,b) =0 & a 20,b 2 0,ab = 0, 


则 称 ola, b) 为 一 个 非 线性 互补 函数 , 简 记 为 NCP 函数 . 
利用 非 线 性 互补 函数 ola, b), 非 线 性 互补 问题 (8.5.1) 等 价 于 下 述 方程 组 : 


é(fi(x) , hi(x) ) = 0, i= 1, D... (8.5.2) 


4 e 589 非 光滑 方程 组 及 非 线性 互补 问题 


最 常见 的 两 个 NCP 函数 为 极 小 算 子 和 Fischer-Burmeister 的 NCP 函数 .不 
难 验 证 , 下 述 结论 成 立 : 


min{a, b} = 0 & a 2 0,b 2 0,ab = 0, 


Va? +b? —a—-be&a2z0,b 20,ab — 0. 


利用 这 两 个 非 线性 互补 函数 , 非 线性 互补 问题 (8.5.1) 等 价 于 下 述 两 个 非 光滑 
方程 组 
min{ fi(z), hi(z)} 20, i=1,---,n, (8.5.3) 


yz? + f(z) — zi file), i=1,---,n. (8.5.4) 


显然 , 方程 组 (8.5.3) 和 方程 组 (8.5.4) 是 非 光 滑 的 , 相应 的 函数 是 局 部 Lipschitz 和 
半 光 滑 的 , 因此 本 章 前 面 介绍 的 牛顿 法 可 用 于 求解 上 述 两 个 问题 . 


8.5.2 ” 非 线性 互补 函数 性 质 
命题 8.5.1 Fischer-Burmeister 非 线形 互补 函数 


$(a,b) = Va? +b? -a-b (8.5.5) 


在 原点 以 外 是 连续 可 微 的 , 在 原点 处 是 局 部 Lipschitz 和 强 半 光滑 的 , 其 在 原点 的 B 
微分 为 

Ip G(0,0)*= ((£ — 1,5 — 1)]£? +7? = 1). (8.5.6) 

命题 8.5.2  Fischer-Burmeister NCP 函数 ó(a, b) 是 正则 的 , 即 广义 方向 导数 


与 经 典 方向 导数 相等 . 
WEBH ”根据 命题 8.5.1, 我 们 只 需 考虑 原点 , 即 证 明 


¢'(0,d) = d^(0,d), Vde R?. 
先 考虑 4 在 0 点 的 经 典 方向 导数 , 记 d = (di do) € R?, 其 中 did, € R, WA 
Aó = 4(0 + Ad) — 6(0) = o(Ad) 


= $(Adi, Adz) = VAE + Xd 一 Adi — Adz, A20, 


TÉ 
_ Ab 
9 (0,4) = lim SE = ya + d -di ~ dz. (8.5.7) 
注意 到 
B + = max ud, vldl=1, 
u€B((—1,—1),1) 
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由 式 (8.5.7) 得 
/ 
一 Td —d,— 
$' (0, d) IX, U d 1— d» 


= max uld- (1,i)d 
u€ B(0,1) 


= AE uld, V ||d|| = 1. (8.5.8) 
由 于 
$'((a, 6), Ad) = Ad'((a,8),d), A20, 


由 式 (8.5.8) 得 
¢'(0,d) = NM NA vd € R?, (8.5.9) 
再 由 式 (8.5.6) 得 
B((—1, —1),1) = 8po(0). (8.5.10) 


结合 式 (8.5.9), 3X (8.5.10) 以 及 广义 方向 导数 定义 及 coded = cig, 得 


9(0,d) = u€B( 1, -1)) ud-é (0d, Ya ERÈ, 


é(a, b) 在 0 点 是 正则 的 . 命题 得 证 . 
还 有 很 多 非 线性 互补 函数 , 这 里 不 再 介绍 , 有 兴趣 的 读者 可 参阅 有 关 专 著 . 
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本 章 利用 非 光滑 分 析 理 论 研究 控制 系统 的 生存 性 , 在 此 假设 读者 对 控制 理论 的 
基本 理论 和 实际 应 用 背景 已 有 所 了 解 , 有 关内 容 不 再 做 详细 介绍 . 


9.1 微分 包含 与 生存 性 


9.1.1 ”微分 包含 

除 具 有 更 一 般 的 实际 意义 外 , 微分 包含 形式 表示 的 动态 系统 更 方便 于 生存 性 
问题 研究 , 因此 我 们 以 微分 包含 的 概念 来 开始 本 章 的 内 容 . 考虑 下 述 形式 的 微分 包 
含 : 

a(t) € F(t, x), (9.1.1) 

其 中 F(t,z(t)) X R xR” 到 R^ 中 子 集 的 集 值 映射 , 所 谓 微分 包含 (9.1.1) 的 解 是 
指 R 到 R" 上 的 绝对 连续 函数 z(t), 它 几 平 处 处 满足 式 (9.1.1). 

通常 的 控制 系统 是 微分 包含 的 特殊 形式 , 当 取 


F(t,z) = U f(t,z,u) 
ucU 
时 ， 微分 包含 (9.1.1) 即 为 通常 的 非 线 性 控制 系统 : 
i(t) e f(t,z,u) ued; 


当 取 
F(t,z) = U (Ax + Bu) 
ucU 


时 , 微分 包含 (9.1.1) 即 为 通常 的 线性 控制 系统 : 
i(t) = Arc Bu, ucU; 


当 取 F(t,c) AMAR, 即 F(t,x) = {f(t,z)} 时 , 微分 包含 (9.1.1) 为 通常 的 常 微分 
方程 : 
a(t) = f(t,x). 
为 保证 微分 包含 (9.1.1) 解 的 存在 性 以 及 有 关 性 质 , 通常 对 集 值 映 射 F(t, z) 做 
下 述 假设 . 
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假设 9.1.1 REMH F(t, z) 满足 下 述 条 件 : 

(1) 对 任意 (t,x) € R x R^, F(t,z) 为 R” PIES ORR, 
(2) 集 值 映射 (t,xz) > Ft, r) 是 上 半 连 续 的 ; 

(3) 存在 非 负 常数 y c, 使 得 对 任意 (62), 有 


v € F(t,z)  |lv|| < vliv|| + c. 


SAE (3) 称 为 线性 增长 条 件 , 它 在 微分 包含 和 控制 系统 研究 中 有 时 也 由 Lipschitz 条 
件 代替 , 事实 上 , Lipschitz 函数 一 定 满 足 线性 增长 条 件 . 当 Fts) 为 单 点 集 时 , id 
F(t,z) = {f(t,x)}, 此 时 条 件 (2) 等 价 于 f(t, z) 的 连续 性 , 条 件 (3) 等 价 于 


If (t DI] < Yllzll + c- 


9.1.2 ”生存 性 基本 概念 


生存 性 是 控制 理论 中 的 一 个 重要 领域 , 控制 理论 中 许多 问题 本 质 上 都 可 以 利用 
生存 理论 这 一 工具 刻画 并 加 以 解决 , 例如 系统 的 可 达 性 (可 控 性 )、Lyapunov 稳定 
性 、 微 分 对 策 等 、 另 一 方面 , 系统 的 安全 域 设计 本 身 就 是 一 个 生存 性 问题 , 就 是 对 
给 定 系 统 设计 一 个 生存 域 . 

为 简单 起 见 , 考虑 下 述 微分 包含 : 


tlt) € F(x), zeRn， (9.1.2) 


这 里 F(z) AR” 到 R" 中 子 集 的 映射 . 

定义 9.1.1 W SC Rnr， 如 果 对 任意 初始 条 件 zo € S, 存在 (9.1.2) 的 解 z(t), 
使 得 z(t) e S, vt 2 0, 则 称 集合 S 关于 微分 包含 (9.1.2) 是 生存 的 , 这 样 的 解 x(t) 
也 称 为 微分 包含 (9.1.2) 的 一 个 生存 解 . 

假设 9.1.1 不 但 可 以 保证 微分 包含 (9.1.1) 和 微分 包含 (9.1.2) 解 的 存在 , 还 可 
以 得 到 生存 性 的 判别 准则 . 

定理 9.1.1 如果 假设 9.1.1 成 立 , 微分 包含 (9.1.1) EWE SCR" 上 是 生存 
的 充 要 条 件 是 对 任意 zs 5, 有 


F(z) (\Ts(x) £2, (9.1.3) 


其 中 o 代表 空 集 . 

对 于 集合 5 的 内 点 z, 易 见 Tes(z) = R^, 因此 , 对 于 集合 S 的 内 点 , 式 (9.1.3) 
总 成 立 , 于 是 要 判别 式 (9.1.3) 是 否 成 立 , 只 需 考虑 S 的 边界 点 . 

考虑 含有 约束 的 微分 包含 : 


ilt) € F(z), xéW, (9.1.4) 
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这 里 F(z) AR” 到 R^ 中 子 集 的 映射 , WAR 中 子 集 , 微分 包含 (9.1.4) ÆW 
中 的 最 大 生存 域 称 为 微分 包 (9.1.4) 的 生存 核 . 一 般 情况 下 , 生存 核 并 不 一 定 存在 ， 
如 果 存 在 , 则 是 人 们 最 感 兴趣 的 一 个 生存 域 . 


9.2 生存 性 的 判别 


定理 9.1.1 给 出 了 一 个 闭 集 关 于 微分 包含 生存 性 的 充 要 条 件 ， 尽 管 在 理论 上 
是 很 完美 的 ， 然 而 对 一 般 的 集合 关于 一 般 的 微分 包含 或 非 线 性 控制 系统 ， 验 证 式 
(9.1.3) 是 非常 困难 的 , 甚至 是 不 可 能 的 . 本 节 讨论 一 些 具 体 结构 的 集合 关于 特殊 结 
构 微 分 包含 生存 性 的 判别 方法 , 即 对 一 个 固定 的 z, 判别 F(z) 门 Ts(z) 是 否 非 空 


9.2.1 ”不等式 约束 集合 关于 多 面体 微分 包含 
考虑 微分 包含 : 
a(t) € co(fit)| i-1,-,p), 2ER", (9.2.1) 
其 中 f(x), i=1,---,p AR” A) R^ 上 的 函数 , 使 得 cof fi(t)|i= lp) 满足 
假设 定理 9.1.1. 考虑 下 述 形 式 的 区 域 : 
D={xER"|9;(x) <0, 7 =1,---,m}, (9.2.2) 
其 中 gj(z),j = 1,…,m X R 上 连续 可 微 函数 . 
A (9.1.3) 判别 集合 D 关于 微分 包含 (9.21) 的 生存 性 ， 就 是 对 每 个 给 定 的 


z € R^, 判别 
cot fi(z) |i = 1,--+,p} N Tp(z) 天 o (9.2.3) 


成 立 的 方法 . 
给 定 z c R”, 定义 指标 集 : 


J(z) = {9 € {1,--+,m} 9;(7) = 0}. 


AUR z eD A J(z) WER, 则 z 为 D 的 内 点 , 因此 , 为 判别 式 (9.2.3) 是 否 成 立 ， 
只 需 考虑 指标 集 (xz) 非 空 情 况 . 给 出 集合 D 在 > 点 处 的 下 述 约束 品 性 . 
约束 品 性 9.2.1 FE yo c R^, 使 得 


V9;(x)"yo «0, Vie J(z). 
约束 品 性 9.2.2 ”cly(z) = F(z), 其 中 


(x) = (y € R” |Vgj(2)"y < 0,vj € J(z)), 
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T(x) = (y € R”|Vg;(x)"y < 0,vj € J(z)). 
根据 非 线 性 规则 中 约束 品 性 的 内 容 , 如 果 集 合 D 在 x € R^ 处 满足 约束 品 性 
9.2.1 RAR mË 9.2.2, WA Tolz) = T(z), 也 就 是 
Tp(z) = (y € R” |Vg;(z)" y < 0,Vj € J(z)]. (9.2.4) 


由 式 (9.2.4) 易 见 , WHE Tp (x) 是 一 个 多 面体 , 因此 , 可 以 利用 它 的 这 一 特殊 结 
WU F(x) 的 结构 判别 式 (9.2.3) 是 否 成 立 . 首先 , 考虑 两 个 多 面体 集合 : 


U =co{u;|t=1,---,p}, ` 
V = {y € R” |My <0}, 


其 中 u c R", M Æ m x n BYE. 易 见 , 集合 cof f(x) i = 1,---,p} MBA Tp(z) 
可 分 别 表示 为 VU 和 了 的 形式 . 构造 下 述 线 性 不 等 式 组 : 


p 

Y Ad, <0, 3iN-L X20, i=1,..,p, (9.2.5) 

i=} i=1 

其 中 (MX Ap) 为 变量 . 易 见 , 不 等 式 组 (9.2.5) 有 m + p 个 不 等 式 和 1 个 等 式 . 
定理 9.2.1 集合 UNV 非 空当 且 仅 当 不 等 式 组 (9.2.5) BHA (有 解 ) 的 . 
WEBB ”必要 性 . 假设 UNV 非 空 , 记 ze U()V, 于 是 ze U, z eV. 根据 凸 包 

的 定义 , 存在 A; > 0, = 1,…,p 满足 


p 
> N-4 
i-i 
使 得 > 
?一 1 
另 一 方面 , z e V 表明 Mz <0, 于 是 


Mz= MSO Aui = v <0. 
i=i i=l 
以 上 讨论 表明 A; > 0, i = 1,---,p 是 不 等 式 组 (9.2.5) 的 解 , 于 是 不 等 式 组 (9.2.5) 
是 相 容 的 . 
充分 性 . 假设 不 等 式 组 (9.2.5) 是 相 容 的 , OT. At) 是 它 的 一 个 解 , 于 是 
有 p p 
DNMua gO0 XON S=1, X20, i-is (9.2.6) 
i=1 


tl 
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p 
* * 
z= X Àj Ui, 
i=1 


根据 式 (9.2.6), 易 见 z* € U. 另 一 方面 , 由 式 (9.2.6) 可 知 


Mz* = Y AM, « 0, 
i=} 

于 是 z* eV. 综 上 可 得 z* e UNV, RA UNV JES. 定理 得 证 . 

命题 9.2.1 “如果 存在 指标 1 < io < p, 使 得 Mu, <0, Wu, € UNV, BI 
UNV 非 空 . 

证 了 明 ”选取 

Mo=1, AR=9, ke{l,...,p}\t{io}, 

可 以 验证 (入,…, At) 是 不 等 式 组 (9.2.5) 的 一 个 解 , 根据 定理 9.2.1, UNV 3E. 
命题 得 证 . 

基于 定理 9.2.1, 判别 集合 UNV 非 空 性 可 转化 为 判别 线性 不 等 式 组 (9.2.6) 的 
相 容 性 . 事实 上 , 判别 线性 不 等 式 组 的 相 容 性 可 转化 为 求解 一 个 辅助 线性 规划 问题 ， 
有 下 述 事 实 . 

RAE sxn WERE, B 是 tx n MER, 则 线性 不 等 式 组 


Ay<0, By-b, ycR" 
相 容 (有 解 ) 的 充 要 条 件 是 线性 规划 问题 : 


min w, 
s.t. Ay — (w,---,w)? < 0, 
By=b, w20 


的 最 优 值 为 零 , 其 中 ye R^, we R ASH, (w, w) eR”. 

基于 定理 9.1.1、 定 理 9.2.1. 命题 9.2.1 和 式 (9.2.4), 在 约束 品 性 9.2.1 或 约束 
品 性 9.2.2 成 立 的 条 件 下 , 给 出 判别 式 (9.2.3) 在 x 点 处 是 否 成 立 (是 否 满足 生存 性 
条 件 ) 的 算法 . 

算法 9.2.1 

步 1. 给 定 ze D, 计算 函数 fí(x),i = 1,…,p 和 gi(z),j =1,…,m ER c ff 
值 , 确定 指标 集 J(z), id I(x) = oc ie}, 计算 梯度 值 Vg;(x),j € J(z); 

步 2. 计算 向 量 : 


(Vg (2), Vg (7)) fila), i= 1,.…,p, 


9.2 ”生存 性 的 判别 - 181 . 


如 果 存 在 指标 1 < io < p, 使 得 
(Vp (£), -3 Vg} (2)) fig (x) < 0, 


则 
co (fi(z) li = 1,---,p} Tp(x) 4 2, 
停止, 否则 转 步 3; 
步 3. 解 线性 规划 问题 : 
min w, 


p 
s.t. 3 AVI (2), Von (2)? fi) + (ww)? « 0, 
i=l 


p 
SoA = Lw-X20,i-1p, (9.2.7) 


i=l 
如 果 问 题 (9.2.7) 的 最 优 值 为 零 , WA 
co (fi(z) i — 1,---,p} (NTp(z) 7 Ø, 


否则 
co (fi) |¢=1,---,p} N To(x) = 2. 


9.2.2 ” 非 光滑 边界 区 域 关 于 多 面体 微分 包含 
考虑 微分 包含 : 
z(t) € cof{fi(z)|i=1,---,p}, zcR^* (9.2.8) 


和 区 域 : 
W = {zr € R"|9;(x) <0, j =1,---,m}, (9.2.9) 


其 中 f(z), i=1,---,p XR 到 R^ 上 的 适当 函数 , HA coffi(t)|i=1,---,p} 
满足 假设 9.1.1, gils), j=1, m 为 R^ 上 的 次 可 微 函数 . 
由 第 5 章 内 容 知 , WE hi(z),i € 了 为 次 可 微 函数 , 则 


h(z) = max h;(z) 
亦 为 次 可 微 函 数 , 其 次 微分 为 


Oh(z) = co U Ohi(z), 
icI(z) 


其 中 
T(x) = {i€ Thi(z) = A(z) }. 
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由 此 易 见 , 如 果 每 个 次 微分 Ohl) 为 有 限 点 集 的 凸 包 , 则 8h(z) 也 为 有 限 点 集 凸 
包 . 以 下 假设 每 个 次 可 微 函 数 gj(z) 的 次 微分 99;(z) 为 有 限 点 集 凸 包 . > 


= max jx 
Bax. 9j ) 


g(x) 


由 于 


< 
Bax. gj(z) <0 


等 价 于 


gj(x) <0, jJH=1,---,m, 
于 是 集合 (9.2.9) 可 等 价 地 表示 为 
W = (x € R"|g(z) < 0]. 


由 于 gj(z) 是 次 可 微 的 , 则 g(z) 也 是 次 可 微 的 , 又 gle) 的 次 微分 为 有 限 点 集 凸 包 ， 
故 g(z) 的 次 微分 也 为 有 限 点 集 凸 包 . 记 


Og(x) = co{vi,---, vg}, (9.2.10) 
其 中 vi € R”, i 二 1,.…,g, 定义 矩阵 
B = (vw). (9.2.11) 


为 判别 微分 包含 (9.2.8) 在 集合 (9.2.9) 上 的 生存 性 条 件 , 对 于 给 定 的 2 e R^, 
要 判别 下 式 是 否 成 立 : 


cof fi(x) i =1,---,p} N Tp(z) £ Ø. (9.2.12) 


为 此 , 先 给 出 下 面 两 个 约束 品 性 , 它们 在 非 光 滑 优 化 中 也 是 经 常 使 用 的 . 
约束 品 性 9.2.3 FE yo c R”, 使 得 9' (x; yo) < 0. 
约束 品 性 9.2.4 ”cly(z) = F(z) 成 立 , 其 中 
y(x) = {y € R?” |g'(z;y) < 0}, 
T(z) = (y € R" |g'(z; y) < 0}. | 
定理 9.2.2 ”假设 约束 品 性 9.2.3 或 约束 品 性 9.2.4 MIL, WA Tp(x) = (y € 
R”|By < 0}. 
WEBB ”根据 非 光滑 优化 约束 条 件 有 关 知 识 , 当 约 束 品 性 9.2.3 或 约束 品 性 9.2.4 
成 立时 , WA Tp(z) =T (x), 因此 , 只 需 证 明 对 固定 的 z € R^, g (zx;y) « 0 等 价 于 
By < 0. 注意 到 ， 


7 T T 
iy) = : Y, 9.2.13 
9 (z;y) ymax v y= max v, y, ( ) 
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而 max v y « 0 等 价 于 
lgigg 
vy«0, VI<i<g, 
根据 矩阵 B 的 定义 ， 


viy <0, vigigm 


等 价 于 By < 0, 再 由 式 (9.2.13) 得 g'(z; y) < 0 等 价 于 By <0. 定理 得 证 . 
根据 定理 9.2.2, 判别 式 (9.2.12) 可 转化 为 判别 下 式 ; 


co{ fi(x)|¢ = 1,---,p} N {y € R"|By < 0) 4 Ø. (9.2.14) 
构造 下 述 线性 不 等 式 组 : 
YABA) < OMA =1, X20, i-l. p (9.2.15) 


其 中 (1,…, Ap) € RP 为 变量 , z AR" 中 固定 点 . 显然 , 不 等 式 组 (9.2.15) 有 m+p 
个 不 等 式 和 1 个 等 式 . 

类 似 本 节 前 一 部 分 的 讨论 知 ， 式 (9.2.14) 成 立 的 充 要 条 件 为 线性 不 等 式 组 
(9.2.15) 有 解 . 这 样 ， 可 通过 判别 线性 不 等 式 组 (9.2.15) 是 否 有 解 来 检验 生存 性 
条 件 (9.2.12) 是 否 成 立 , 当然 , 也 可 将 判别 线性 不 等 式 组 是 否 有 解 等 价 地 转化 为 求 
解 一 个 线性 规划 问题 , 因此 是 非常 容易 实现 的 . 

例 9.2.1 ”在 微分 包含 式 (9.2.8) MA (9.2.9) 给 出 的 集合 W 中 , 设 


filz) = (1,21 ~42)", fo(z) = (z1 + 22, 22)", 
g(x) = max {—71, —£2, £? +23 — 1], z= (x1,72)T, 
其 中 z = (25)! € R?. BW g(x) 为 次 可 微 函数 , 集合 W = (x € R?|g(z) « 0} 
为 四 分 之 一 单位 圆 . 考虑 点 cD) = (0,1)T 和 r = (1,0)7, 根据 第 5 章 介绍 的 次 微 
分 定义 及 运算 得 
g(z?) = co {(-1,0)", (0,2)7}, agl) = co { (0, —1)7, (2,0)T}. 
fi(z) Æ z( Alc) 处 的 值 为 
fi(a™) = (0,-1)7, foe) = (1,1)7, 
file) = 1,17, f(r) = (1,0)7. 


通过 验证 可 知 , 微分 包含 在 r = (0,1) 处 满足 生存 性 条 件 (9.2.12), 在 z(2) = 
(1,0)T 处 不 满足 生存 性 条 件 (9.2.12). 
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下 面 讨论 次 可 微 函 数 上 图 的 生存 性 判别 . 设 V(z) 为 R* 上 的 次 可 微 函 数 , € 
的 上 图 为 
Epi(V) = {(2,w) € R"*!|V(z) — w < 0], 
4 H(z)- V(z) - w, HP z = (z,w), WA 
Epi(V) = {z € R^*!|H(z) < 0]. 
i 
S(z) = {(u, -1)|u € 9V(z)), 
通过 计算 得 
H'(zid) = ext d, 


根据 次 可 微 函数 定义 , H(z) 是 次 可 微 的 其 次 微分 为 
8H(z) = S(z) = ((u, —1)|u € OV(z)}. 
假设 V (0) 的 次 微分 为 有 限 点 集 的 凸 包 , 记 为 式 (9.2.10) 的 形式 , 则 
8H (z) = co{(v1,—1), +++, (vg, —1)) 


HAAR AR, 这 样 , 前 面 讨论 的 方法 可 用 来 判别 上 图 Epi(V) 的 生存 性 问题 . 

在 稳定 性 和 镇 定 设计 中 , 经 常 遇 到 的 非 光滑 Lyapunov 函数 是 次 可 微 的 , 且 次 
BAAR AS. 例如 , Lyapunov 函数 V(r) = max Vi(z), 其 中 V(x), ic I 为 连 
续 可 微 函 数 , 是 次 可 微 的 , 其 次 微分 为 有 限 点 集 凸 包 . 这 样 , 可 以 通过 Lyapunov B 
数 上 图 的 生存 性 研究 Lyapunov 稳定 性 和 镇 定 设计 . 


9.2.3 ”一 维 生 存 核 的 计算 


前 面 讨论 的 是 判别 一 个 给 定 集合 的 生存 性 , 一 般 来 讲 , 计算 一 个 控制 系统 的 生 
存 域 则 更 加 困难 . 一 维系 统 具 有 极其 特殊 性 , 在 一 维 空间 中 , 凸 集 就 是 一 个 闭 区 间 ， 
因此 有 可 能 计算 一 维 控制 系统 的 一 个 生存 域 . 

在 一 维 情形 下 考虑 微分 包含 式 (9.1.2), 对 任意 ze R, 由 于 集合 F(z) BAGS 
的 , 这 样 可 表示 为 F(x) = [及 (zx), fo(z)], 其 中 fix) 和 户 (z) AR 上 函数 . BER 
PAA Wo = fur, we], 以 下 讨论 计算 Wo 中 生存 核 . 设 W = [2.29] 为 微分 包含 
在 Wo 中 的 生存 核 , 其 中 zi 和 zo 待定 . 因为 具有 zi 和 za 是 W = [z1,z2] 的 边界 
点 , A (9.1.3) 成 立 的 充 要 条 件 是 其 在 r= zi 和 zx = za 两 点 处 成 立 , 即 


Fla) Twla)#2 和 F(z2) N Tw(22) # Ø. 


由 切 锥 的 定义 得 
Tw(z) = [0, +œ), Tw(z2) = (—0o, 0], 
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于 是 有 
F(a) N Tw(21) € 9 @ fala) 2 0, (9.2.16) 


F(z2) N Tw (22) £ 9 > fi(z2) <0. (9.2.17) 


满足 式 (9.2.16) RIA (9.2.17) 的 区 间 [21,22] C Wo 即 为 微分 包含 的 生存 核 . 
为 确定 生存 核 W = [5,22], 考虑 下 述 两 个 优化 问题 : 


min z, 
s.t. fa(z) 20, wi Sz € w», (9.2.18) 
max z, 
s.t. fi(z) <0, wi Sz € us. (9.2.19) 


设 2 和 zo 分 别 是 问题 (9.2.18) 和 (9.2.19) 的 最 优 解 , 由 式 (9.2.16) 和 式 (9.2.17) 
可 知 , WR 21 < zo, WW = [2,25] 是 生存 域 , 且 是 生存 域 核 , 否则 生存 域 是 空 集 . 
显然 , 问题 (9.2.18) 和 问题 (9.2.19) 是 一 维 约束 优化 问题 , 一 般 情况 下 是 非 光滑 优 
化 问题 . 
考虑 非 线性 控制 系统 : 

a(t) = f(z,u), we, (9.2.20) 

HH ze R,U CR 为 紧 集 . 9 
F(z) = (f(z,u) |u € U}, 


将 系统 (9.2.20) 看 成 微分 包含 i(t) € F(c) 的 特殊 情形 . 由 于 F(x) 为 闭 凸 集 , OW 
表示 为 
F(z) = [min f(a, u). max f(x, u)], 
Bn 
fi(z) = min f(z, u) 和 fo() = max f(z, u). 


对 于 系统 (9.2.20), 问题 (9.2.18) 和 问题 (9.2.19) 具有 形式 : 


min z, 

st. max f(z,u) 20, w <z <un, (9.2.21) 
ucU 

max 2, 

s.t. maxf(z,u) 20, w <z <w. (9.2.22) 
ucU 


易 见 , 问题 (9.2.21) 和 (9.2.22) 是 一 维 非 光滑 约束 优化 问题 , 即使 f(z, u) 是 连续 可 
微 的 也 是 如 此 . 
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综 上 所 述 , 可 以 通过 求解 一 维 非 光滑 约束 优化 问题 来 计算 一 维 微 分 包含 生存 
核 . 
例 9.2.2 设 


F(x) = [fi(z), fo(x)], fi(z) =z? +2, fo(x) 22x? + z, 


求 微分 包含 i(t) e F(a), ze R 在 集合 Wo = [-1,1] 中 的 生存 核 . 
将 fal) = 22? + x 和 Wo = [-1, 1] 代入 优化 问题 (9.2.18) 得 


min z, 
st 2:242 20, -1<z<l, 


其 最 优 解 为 = -1 将 fi (2) — 2? z M Wo = [-1,1] 代入 优化 问题 (9.2.19) 中 
得 
s.t. 23224: 2 20, -I1<z<l, 
其 最 优 解 为 z。 = 0. 于 是 , 生存 核 为 W = [-1,0]. 
例 9.2.3 i f(z) = 2? +u, K'Puc U = [0,1], x € R, 求 非 线 性 系统 
ilt) = f(x, u) 在 集合 Wo = [-1, 1] 中 的 生存 核 . 
由 于 


max f(z)=2°+1 和 min f(x) = z?, 


将 
max ftz)=z2+1 和 W= [11] 


代入 问题 (9.2.21) 中 得 


min z, 
s.t. 224-4120, -1«z«l, 


其 最 优 解 为 1 = -1. 将 
min f(x) =? 和 Wo=([-1, 1] 
代入 优化 问题 (9.2.22) 得 


max 2, 
st. 227 <0, -1<z<l, 


其 最 优 解 为 za = 0. 于 是 , 生存 域 核 为 [-1,0]. 
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9.3 ”线性 系统 多 面体 生存 域 


线性 系统 的 生存 性 是 生存 性 理论 中 的 重要 内 容 , 讨论 其 生存 域 主要 有 两 种 方 
法 : 一 种 是 利用 算 阵 不 等 式 或 半 定 规划 得 到 一 个 椭 球 生存 域 ; 另 一 种 就 是 利用 凸 分 
析 方 法 研究 的 多 面体 生存 域 . 由 于 多 面体 可 以 通 近 任意 的 区 域 , 因此 多 面体 生存 域 
HO BUR ERA ABR UE, 更 有 应 用 价值 . 


9.3.1 REFR 
考虑 带 有 状态 约束 的 线性 控制 系统 : 


i(t)— Art Bu, x€K, wel, (9.3.1) 


EF KCR”, UCR” 为 闭 凸 集 , 4 为 适当 维 数 的 矩阵 . 

定理 9.3.1 WE DCR 是 系统 (9.3.1) 的 生存 域 , 则 它 的 凸 包 coD 也 为 系 
统 (9.3.1) 的 生存 域 , 进一步 生存 核 为 凸 集 . 

WEBB ”注意 到 系统 (9.3.1) 的 解 为 


t 
a(t) = e4*x9 +f eA 77 Bu(r)dr, 


其 中 z(0) = zo. BIE zo €coD, 根据 第 1 章 凸 集 的 性 质 , 存在 ri e D, i=1, n 
1, 使 得 TO 可 表示 为 gi=il,---,ntl 的 凸 组 合 ， 即 


n+l ntl 
zo = 》 Aiti, M20, t=1,:--,n+1, N=1. 
i=l 


i=1 


由 于 D 是 生存 域 , 而 zi c D, 因此 , 存在 ui(-):[0, 00) 一 U, 使 得 对 任意 t > 0, 有 


t 
e^t y +f e^t- Bu;(T)dr € D. 
o 


n+i 


t 
z(t) = 3^ X GE + f A" Bu(r)dr) , 
i=1 o 


显然 r(t) ecoD. > 


n+1 
u(t) = M Xu(t), Vt € [0, 00), 


由 于 OU 是 凸 集 , 因此 
u(t) eU, Vt 2 0. 
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此 外 
nl t n+l 
x(t) =e^t > AU f e^lt-7) B »» Aju(r)dr 


i=1 0 i=1 


t 
-eezo+ | eAt-7 Bu(7)dr, 


所 以 z(t) 是 线性 系统 (9.3.1) 当初 值 条 件 为 zo 的 解 , 且 使 得 r(t) ccoD, vt > 0, 因 
此 coD 是 生存 域 . 

由 于 生存 核 是 最 大 的 生存 域 , 所 以 它 与 自身 的 凸 包 相 等 , 故 生 存 核 是 凸 集 . 定 

定理 9.3.2 RW = co{w, = wh HE w € R”, i = 1 10 = 
co(ü;,.-.,üu), 其 中 a; € R",j = 1,---,M, WW BR (9.3.1) 的 生存 域 当 
且 仅 当 

Tw(wi) F(wi) #2, i=1,---,1, 

其 中 F(x) = {Ax + Bulu € U}. 

WEBB ”将 系统 (9.3.1) 表示 为 微分 包含 a(t) € F(z) 的 形式 . 根据 定理 9.1.1, ^ 
要 性 成 立 , 现在 证 明 充 分 性 . 给 定 z 6€ W 和 某 个 ye F(z), 则 存在 


uj 0， j=1,---,M, 
满足 
M 
Yy =], 
j=l 
使 得 
M 
y= Az t 5 uj Bá; 
j=l 
对 于 多 面体 W, 根据 切 锥 定义 , y € Tw(z) SEM ARE t > 0 和 wj 20, j — 1l 
满足 


l 
2 =1 
j=l 


i 
1 
y—1 (Zoe) . 
j= 


所 以 , Tw (z) N F(x) * 2 当 且 仅 当 对 某 个 t > 0, 下 式 成 立 : 


l M 
1 1 > 
(4 + Z1) T= " 2 UjUj 一 2 ; pj Bü, (9.3.2) 


使 得 
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i 
v; 2 0, jl: Sov; =1, Hj 20, j=1,.…,M H TES 


j=l j=l 


假设 对 于 x = wi,i =1,---,1, X (9.3.2) 成 立 , 则 存在 


i i 
viz 2 0, j=l,-+-, So vy =1, Hij 2 0, j=1,-:-,M H 》 pig = 1, 
j=l j=l 


使 得 
1 lu M 
(4 + 51) “=g vy 一 d (9.3.3) 
因为 W 是 多 面体 , c+ iy ew 意味 着 
r+tyeW, Wet. 


&t=min{ti,---,t}, 那么 由 式 (9.3.3) 可 得 
1 1 l M 
(4 + i) us = " » 一 2, My By (9.3.4) 


对 于 ce W, 根据 集合 W 的 结构 , 存在 和 ; > 0,i = 1,…,! 满足 


使 得 | 
r= hwi. 
i=1 


将 式 (9.3.3) 关于 Aii = 1,…,! 取 加 权 平 均 , 再 利用 


i 
T= y ADU 
i=l 


E 


i l i M 
(4+ Z1) 2-13 XY vyu -X A J maj Ba; 
i=] j=l = j=l 


i=1 


1 i M 
=F > yw- )_ Bay, 
j=l j=l 
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其 中 i ; 
vj = 》 Atij, Bj = uus. 
i=1 i=l 
注意 到 
vj 2 0, j=l, if, n; 20 j=l, ,M, 
BA 
M M i l M 
Y = 30307 = 3 Nous -]. 
j=l j=1 i=l i=1 j=l 
同 理 可 证 ; 
>》 = i. 
j=1 
这 说 明 式 (9.3.2) 对 任意 的 z 都 成 立 , 于 是 
Tw(z) N F(z) # Ø. 
定理 得 证 . 


由 定理 9.3.2 的 证 明 可 知 , 多 面体 W 是 生存 域 当 且 仅 当 对 每 个 ie (1,10), 
存在 足够 小 的 ti > 0, 使 得 线性 不 等 式 系统 : 


M 


l 
1 1 ^ 
(4 T 2) wi = t X vyw — 》 Hi Bay, 
i i jal jal 
i M 
SCLE SITES 
j=l j=1 


vij 2 0, jl Hij 20, j2l--.,M 


是 相 容 的 . 确定 不 等 式 组 (9.3.2) 的 相 容 性 可 转化 为 解 一 个 辅助 的 线性 规划 问题 , 因 
而 是 很 容易 实现 的 . 

定理 9.3.2 说 明 , 对 于 有 界 多 面体 (有 限 点 集 的 凸 包 ), 其 生存 性 判别 只 需 检验 
其 在 极点 处 是 否 满足 生存 性 条 件 , 因而 是 简便 易 行 的 . 
9.3.2 “无界 生存 域 

9.3.1 节 讨 论 的 是 有 界 多 面体 的 生存 域 , 本 节 讨 论 无 界 多 面体 情形 . 根据 1.4 节 
知 , 多 面体 结构 可 以 表示 为 它 的 极点 凸 组 合 加 上 极 方向 的 非 负 线 性 组 合 , 因此 , 关 
键 所 在 是 讨论 或 确定 生存 域 的 极 方向 . 

定理 9.3.3” 设 Wc Rr" 为 闭 集 , a e R^, 则 对 任意 实数 s, t > 0, 有 


(9.3.5) 


Tw (z) + sa C Tw+conefa} (2 + ta). 
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证 明 GR ucTw(z) 根据 切 锥 性 质 , 存在 t, > 0, up € R'k— 1,2, 满足 
uk —u, tk 50, kom, 


使 得 
T+trur E W, Vkzl. 


对 任意 固定 的 s, t2 0, 有 


Uk + sa—utsa, 
€ c to t tk(ux + so) =r + thug + (s+ tja 
EW +cone{a}. 
于 是 , 根据 切 锥 性 质 得 


u + sa € Tw +cone{e}(z + ta), 
再 由 we Tw(z) 的 任意 性 , 则 有 
Tw(z) 十 sa C Tw +cone{a} (z + ta). 
定理 得 证 . 
定理 9.3.4. REA 4 的 具有 非 负 特 征 值 的 特征 向 量 , W 为 系统 (9.3.1) 的 生 
FR, 则 集合 W + cone(£) 也 为 系统 (9.3.1) 的 生存 域 . 


证 了 明 设 ye W + cone(£), M y noA y — z t£, Hr ew,t>0.Ww 
是 生存 域 , 根据 定理 9.1.1, 有 


Tw(x) N {Ax + Bu |uc U} z e, 
于 是 存在 u € U, 使 得 Az + Bu € Tw(z). id € 的 特征 值 为 > 0, WA 
Ay + Bu; = A(z + t€) + Buy 
= Az + Bu, + tX. (9.3.6) 
由 于 Ay + Bui € Tw(z), UR t 2 0, th 2 0, 根据 定理 9.3.3 得 
Az + Bu, + tAE € Tw +conete} (a + t£) 
= Tw +cone{e} (9). (9.3.7) 
由 式 (9.3.6) 和 式 (9.3.7) 可 得 


Ay + Buy € Tw +cone{é} (y), 
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于 是 
{Ay + Bu | uc U} N Tw +cone{é} (Y) £2. 


由 定理 9.1.1, W + cone{y} 是 生存 的 . 定理 得 证 . 

推论 9.3.1 KS, & 为 4 的 具有 非 负 特征 值 的 特征 向 量 , W 为 系统 
(9.3.1) 的 生存 域 , 则 集合 W + cone(&, ---, 6) 也 为 系统 (9.3.1) 的 生存 域 . 

证 明 ”根据 凸 锥 的 定义 , 有 


W + cone{&:, ---, £j] = W+cone{é, ---, & 1) + cone{ép}, (9.3.8) 


根据 定理 9.3.4 和 式 (9.3.8), 利用 数学 归纳 法 即 得 推论 . 推论 得 证 . 
例 9.3.1 考虑 线性 系统 : 


的 GOG e 
£2(t) 0 1 Z2 


B(0,1) = {(a1, 23)7 cR? lz? +23 « 1) 


是 系统 (9.3.9) 的 一 个 生存 域 , 5 = (0, D XESUBÓBEEPRBHIERGS 1 的 特征 向 量 . 由 
定理 9.3.4 可 知 ，B(0,1)+cone ((0, 1)7} 为 系统 (9.3.9) 的 生存 域 . 显然 ，B(0, 1)+ 
cone ((0, 1)7} 既 非 椭 球 也 非 多 面体 形状 的 . 
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